메뉴 바로가기 검색 및 카테고리 바로가기

한빛미디어

맵리듀스 디자인 패턴 : 하둡과 빅데이터에 효과적인 6가지 방법론과 26가지 실용 패턴

한빛미디어

번역서

판매중

  • 저자 : 도널드 마이너 , 아담 슈크
  • 번역 : 이주열 , 오석근
  • 출간 : 2013-07-24
  • 페이지 : 288 쪽
  • ISBN : 9788968480348
  • 물류코드 :2034
초급 초중급 중급 중고급 고급
4점 (1명)
좋아요 : 29

[이 책이 제시하는 핵심 내용]

 

이 책은 효과적으로 맵리듀스를 프로그래밍할 수 있는 6가지 디자인 패턴에 대해 다룬다. 이 책에서 제시한 패턴들을 활용하면 여러분이 직면한 문제의 90% 가량의 해법을 찾게 될 것이다. 빅 데이터 아키텍처를 모델링할 때의 일반적인 디자인 실수를 피하도록 명확하게 식별된 위험과 경고를 기반으로 설명한다.

 

 

[이 책의 특징과 장점]

 

하둡 1.0.3 버전에서 작성된 예제

이 책의 모든 예제는 하둡 1.0.3 버전에서 작성되었다. 맵리듀스는 요즘에 다수의 오픈 소스와 상용 시스템에서 볼 수 있는 패러다임이다. 예제를 일관성 있게 하고 따라하기 쉽게 만들기 위해서는 기준이 되는 시스템 하나를 선택해야 했다. 그래서 하둡을 선택했다. 하둡은 널리 사용되고 있는 시스템이기 때문에 타당한 선택이었다. 그렇지만 몽고DB 맵리듀스를 비롯한 다른 맵리듀스 구현체의 사용자도 여타 시스템에서 이 책의 예제를 활용할 수 있을 것이다.

 

스택오버플로우 데이터베이스 사용
이 책의 처음부터 끝까지 스택오버플로우 데이터베이스를 덤프한 데이터 셋을 사용한다. 스택오버플로우는 소프트웨어 개발자가 (하둡을 포함해서) 다양한 코딩 주제에 대해서 묻고 답할 수 있는 인기 웹 사이트다. 하나의 노드 위에서 사용할 수 없을 만큼 크지 않은 적당한 크기이기 때문에 이 데이터 셋을 선택했다. 또 이 데이터 셋은 사용자명과 날짜 같은 ‘구조화된’ 항목뿐만 아니라 사람이 직접 생성한 자연어 본문을 포함한다.

 

명확한 예제 소스 코드 제시
이 책에서 사용한 모든 예제는 해당 데이터 셋에 한정되는 코드가 무엇인지, 어떤 코드가 일반적이고 패턴의 일부인지를 명확하게 식별하기 위해 데이터 셋의 구문 분석 로직을 헬퍼 함수로 빼냈다. 여기서 사용한 XML은 꽤 간단하기 때문에 대개는 완전한 XML 구문 분석기 대신 자바 코드의 문자열 연산을 사용했다.

 

 

[어떤 독자를 위한 책인가?]

 

이 책은 전문가가 맵리듀스로 문제를 해결하기 위해 어떻게 생각하는지를 독자에게 알려주어 실수를 예방하는 데 목적이 있다. 그래서 중급 또는 고급 맵리듀스 개발자를 위한 책이다. 아주 초보자나 구루는 다른 책을 찾아보는 것이 좋다.
이 책은 또한 맵리듀스 패러다임에 대해 더 많은 것을 배우고자 하는 독자를 대상으로 한다. 코드 예제와 함께 맵리듀스의 기술적 측면으로 깊이 들어가고, 맵리듀스 시스템의 내부 동작에 대해 자세히 설명한다. 이는 소프트웨어 엔지니어가 맵리듀스 분석을 개발하는 데 도움이 될 것이다. 또한 패턴의 동기와 일반적인 사용 사례를 논의하는 데 꽤 많은 시간을 할애한다. 이는 하둡과 같은 시스템이 무엇을 할 수 있을지 알고 싶어하는 독자에게 흥미로운 내용이다.
모든 코드 예제가 하둡에 대해 작성되었고 많은 패턴이 하둡을 배경으로 논의되기 때문에 이 책을 최대한 활용하려면 하둡에 대한 약간의 지식을 가지고 있어야 한다.

 

 

[도서 특징]

 

지금까지 맵리듀스 프레임워크를 위한 디자인 패턴은 다양한 논문, 블로그, 잡지 등에 산재해 있어 공부하는 데 많은 시간과 노력이 들었지만, 이제는 이 책이 있어 그럴 필요가 없다. 실습 환경을 고려하여 하둡 기반으로 예제를 설명했지만 예제는 시스템에 구애받지 않는다.

  • 요약 패턴: 데이터를 요약하고 그룹핑하여 최상위 수준의 관점을 얻는다.
  • 필터링 패턴: 특정 사용자가 생성한 레코드를 찾는 것처럼 데이터의 서브셋을 찾는다.
  • 데이터 조직화 패턴: 타 시스템으로 작업하기 위해 또는 맵리듀스 분석을 좀 더 쉽게 만들기 위해 데이터를 재조직화한다.
  • 조인 패턴: 특별한 관계를 발견하기 위해 다른 데이터셋을 함께 분석한다.
  • 메타 패턴: 여러 가지 문제를 풀거나 동일 잡으로 몇 가지 분석을 수행하기 위해 몇몇 패턴을 조합한다.
  • 입출력 패턴: 데이터를 적재하거나 저장하기 위해 하둡 사용하는 방법을 커스터마이즈한다.

 

 

저자

도널드 마이너

EMC 그린플럼에서 솔루션 아키텍트로 근무하고 있다. 그린플럼 빅데이터 시스템을 구현하고 사용할 수 있도록 고객에게 조언을 하고 도움을 준다. 그린플럼에 근무하기 전에는 계약직으로 미국 정부와 함께 몇몇의 대규모 미션 크리티컬한 하둡 시스템을 설계했다. 그는 또한 메릴랜드 대학 볼티모어 카운티(UMBC)에서 하둡과 다양한 인공 지능에 대해 강의했다. 기계 학습과 멀티 에이전트 시스템에 대한 논문으로 UMBC에서 컴퓨터 공학 박사 학위를 받았다.

저자

아담 슈크

클리어엣지 IT 솔루션, LLC(http://www.clearedgeit.com/)의 소프트웨어 엔지니어다. 하둡, 아큐물로Accumulo, 피그, 주키퍼 같은 빅데이터 기술에 관련된 업무를 한다. 메릴랜드 대학 볼티모어 카운티(UMBC)에서 컴퓨터공학과를 졸업하고 게임 스튜디오에서 고성능 그래픽 엔진을 구축하다가 새로운 도전을 찾아 분산 컴퓨팅 기술에 초점을 맞춘 UMBC의 대학원 과정에 진학했다. 계약직으로 미국 정부의 대규모 하둡 시스템 개발에 참여했다. 현재는 하둡과 피그 개발 및 교육 과정에 참여하고 있다. 여가 시간에는 개인 프로젝트를 진행하고 비디오 게임을 즐긴다.

 

 

 

역자

이주열

미라콤 연구소에서 EAI와 BPM 등의 미들웨어를 개발하고 SOA를 연구했다. 이후 LG CNS 정보기술연구원에서 IaaS 형태의 클라우드 컴퓨팅 플랫폼을 개발했고, 현재는 하둡 기반 빅데이터 플랫폼 개발 PM을 맡고 있다.

역자

오석근

 

이주열
미라콤 연구소에서 EAI와 BPM 등의 미들웨어를 개발하고 SOA를 연구했다. 이후 LG CNS 정보기술연구원에서 IaaS 형태의 클라우드 컴퓨팅 플랫폼을 개발했고, 현재는 하둡 기반 빅데이터 플랫폼 개발 PM을 맡고 있다.

 

오석근
2006년에 온네트 연구소에서 아파치 너치와 하둡을 이용하여 블로그 전문 검색 서비스 Naaroo를 개발했다. SK C&C를 거쳐 현재는 LG CNS 정보기술연구원에서 하둡 기반 빅데이터 플랫폼을 개발하고 있다.

 

 

1장. 디자인 패턴과 맵리듀스
_1.1 디자인 패턴 
_1.2 맵리듀스 역사 
_1.3 맵리듀스와 하둡 복습하기 
_1.4 하둡 예제 : 워드 카운트 
_1.5 피그와 하이브 

 

2장. 요약 패턴
_2.1 수치 요약 
_2.1.1 패턴 설명 
_2.2 역색인 요약 
_2.2.1 패턴 설명 
_2.3 카운터를 이용한 집계 

 

3장. 필터링 패턴
_3.1 필터링 
_3.2 블룸 필터링 
_3.3 톱 텐 
_3.4 구별 

 

4장. 데이터 조직화 패턴
_4.1 계층 구조화 
_4.2 파티셔닝 
_4.3 비닝 
_4.4 전체 순서 정렬 
_4.5 셔플링 

 

5장. 조인 패턴
_5.1 조인 복습 
_5.2 리듀스 사이드 조인 
_5.3 복제 조인 
_5.4 복합 조인 
_5.5 데카르트 곱 

 

6장. 메타패턴
_6.1 잡 체인 
_6.2 체인 폴딩 
_6.3 잡 병합 

 

7장. 입출력 패턴
_7.1 하둡의 입력과 출력 커스터마이징 
_7.2 데이터 생성 
_7.3 외부 소스 출력 
_7.4 외부 소스 입력 
_7.5 파티션 프루닝 

 

8장. 마지막 결론과 디자인 패턴의 미래
_8.1 데이터 유형의 트렌드 
_8.2 얀의 영향 
_8.3 라이브러리 또는 컴포넌트로서 패턴 
_8.4 패턴 개발을 도울 수 있는 방법 

 

부록. 블룸 필터

결재하기
• 문화비 소득공제 가능
• 배송료 : 0원배송료란?

배송료 안내

  • 책, 아이템 등 상품을 3만원 이상 구매시 무료배송
  • 브론즈, 실버, 골드회원이 주문하신 경우 무료배송

무료배송 상품을 포함하여 주문하신 경우에는 구매금액에 관계없이 무료로 배송해 드립니다.

닫기

리뷰쓰기

닫기
* 도서명 :
맵리듀스 디자인 패턴 : 하둡과 빅데이터에 효과적인 6가지 방법론과 26가지 실용 패턴
* 제목 :
* 별점평가
* 내용 :

* 리뷰 작성시 유의사항

글이나 이미지/사진 저작권 등 다른 사람의 권리를 침해하거나 명예를 훼손하는 게시물은 이용약관 및 관련법률에 의해 제재를 받을 수 있습니다.

1. 특히 뉴스/언론사 기사를 전문 또는 부분적으로 '허락없이' 갖고 와서는 안됩니다 (출처를 밝히는 경우에도 안됨).
2. 저작권자의 허락을 받지 않은 콘텐츠의 무단 사용은 저작권자의 권리를 침해하는 행위로, 이에 대한 법적 책임을 지게 될 수 있습니다.

오탈자 등록

닫기
* 도서명 :
맵리듀스 디자인 패턴 : 하둡과 빅데이터에 효과적인 6가지 방법론과 26가지 실용 패턴
* 구분 :
* 상품 버전
종이책 PDF ePub
* 페이지 :
* 위치정보 :
* 내용 :

도서 인증

닫기
도서명*
맵리듀스 디자인 패턴 : 하둡과 빅데이터에 효과적인 6가지 방법론과 26가지 실용 패턴
구입처*
구입일*
부가기호*
부가기호 안내

* 회원가입후 도서인증을 하시면 마일리지 500점을 드립니다.

* 한빛 웹사이트에서 구입한 도서는 자동 인증됩니다.

* 도서인증은 일 3권, 월 10권, 년 50권으로 제한됩니다.

* 절판도서, eBook 등 일부 도서는 도서인증이 제한됩니다.

닫기

해당 상품을 장바구니에 담았습니다.이미 장바구니에 추가된 상품입니다.
장바구니로 이동하시겠습니까?

자료실