한빛출판네트워크

데이터에 대한 생각을 전환하라!

500기가바이트를 59초 만에, 100테라바이트를 단 173분 만에 정렬하는 하둡은 상상을 초월하는 데이터 분석 성능을 제공한다. 구글의 알고리즘을 구현한 하둡은 맵리듀스 기법으로 데이터에 대한 생각을 변화시키고, 이전에 보존해 두었던 그 어떤 데이터든지 활용할 수 있게 한다. 전에는 너무 오랜 시간이 걸려 결과를 얻을 수 없었던 문제도 이제는 하둡으로 빠르게 해답을 얻을 수 있게 되었고, 이를 통해 새로운 통찰력도 얻을 수 있게 되었다.

하둡, 클라우드 컴퓨팅의 역사를 바꾸다!

• 2008년 2월 - 뉴욕타임스는 1851년부터 1980년 12월까지 130년 분량의 신문기사 1,100만 매를 '아마존 S3'에 저장하고, 하둡을 이용하여 약 4테라바이트 크기의 데이터를 24시간 만에 변환했다. 이는, 일반 서버로 대략 14년이 걸리는 어마어마한 작업량이다.
• 2008년 4월 - 하둡은 '맵리듀스로 테라바이트 데이터 소트' 대회에서 전년도 우승자의 297초에 비해 2/3분 수준인 209초 만에 정렬하며 우승했다. 이어 2009년 5월, 야후는 하둡으로 62초 만에 1테라바이트를 정렬했다.
• 2009년 4월 - '1분 소트' 대회에서 500기가바이트를 59초에(1,400개 노드에서) 정렬하며 우승했다. 또한 100테라바이트를 173분에(3,400개 노드에서) 정렬했다.

개정판에서 새로워진 내용

2판은 하이브와 스쿱에 관한 두 개의 새로운 장(12장과 15장), 에이브로를 다루는 새로운 절(4장), 하둡의 새로운 보안 속성에 대한 소개(9장), 하둡을 사용한 대규모 네트워크 그래프 분석에 대한 새로운 사례분석이 추가되었다. 개정판에서도 아파치 하둡 0.20 배포판을 계속 사용하는데, 이 글을 쓰는 시점에서도 여전히 가장 안정적인 최신 버전이기 때문이다. 이후 배포판이 대한 새로운 특성은 가끔 참고용으로 언급된다. 이번 판에서도 아파치 하둡 0.20 배포판을 계속 사용하는데 이 글을 쓰는 시점에서도 여전히 가장 안정적인 최신 버전이기 때문이다. 이후 배포판이 대한 새로운 특성은 가끔 참고용으로 언급된다.

대용량 데이터에 관한 가장 완벽한 책(개정판)!

하둡 프로젝트의 커미터이자 핵심 설계자인 톰 화이트가 저술한 이 책은 하둡을 가장 완벽하게 다루고 있다. 하둡의 개념과 사용법은 물론 Last.fm, 페이스북, 랙페이스의 하둡 활용 사례를 통해 어떻게 하둡을 활용해야 하는지 배울 수 있다. 개정판에서는 최신 변경 내용을 반영하고 하이브, 스쿱, 에이브로 내용을 추가했다.

• 대규모 데이터셋 저장을 위한 하둡 분산파일시스템(HDFS)
• 맵리듀스를 통한 분산 연산 작업
• 데이터 압축, 데이터 정합성, 직렬화, 영속성을 위한 입/출력 빌딩 블록
• 맵리듀스 프로그램의 유의점
• 전용 하둡 클러스터의 설계, 구축, 운용 방법
• 클라우드 기반의 하둡 운용
• 대규모 데이터 처리를 위한 피그
• 구조화된 데이터와 반-구조화된 데이터를 처리하는 HBase
• 분산 시스템 구축을 위한 주키퍼
• 하이브 - 하둡 데이터웨어하우싱 시스템
• 보안 강화를 위한 커버로스

1장 하둡과의 만남 
  1 데이터! 
  2 데이터 저장소와 분석 
  3 다른 시스템과의 비교 
    RDBMS 
    그리드 컴퓨팅 
    자발적 컴퓨팅 
  4 하둡의 역사 
  5 아파치 하둡과 하둡 생태계 

2장 맵리듀스 
  1 기상 데이터셋 
    데이터 포맷 
  2 유닉스 도구로 데이터 분석하기 
  3 하둡으로 데이터 분석하기 
    맵과 리듀스 
    자바 맵리듀스 
  4 분산형으로 확장하기 
    데이터 흐름 
    컴바이너 함수 
    분산 맵리듀스 잡 실행하기 
  5 하둡 스트리밍 
    루비 
    파이썬
6 하둡 파이프 
    컴파일 및 실행 

3장 하둡 분산 파일시스템 
  1 HDFS 설계 
  2 HDFS 개념 
    블록 
    네임노드와 데이터노드 
  3 명령행 인터페이스 
    기본적인 파일시스템 연산 
  4 하둡 파일시스템 
    인터페이스 
  5 자바 인터페이스 
    하둡 URL로부터 데이터 읽기 
    파일시스템 API를 사용하여 데이터 읽기 
    데이터 쓰기 
    디렉터리 
    파일시스템에 질의하기 
    데이터 삭제 
  6 데이터 흐름 
    파일 읽기 해부 
    파일 쓰기 상세 
    일관성 모델 
  7 distcp 병렬 복사 
    HDFS 클러스터 균형 유지 
  8 하둡 아카이브 
    하둡 아카이브 사용하기 
    제약 사항 

4장 하둡 I/O 
  1 데이터 무결성 
    HDFS와 데이터 무결성 
    LocalFIleSystem 
    ChecksumFileSystem 
  2 압축 
    코덱 
    압축과 입력 분할 
    맵리듀스에서 압축 사용하기 
  3 직렬화 
    Writable 인터페이스 
    Writable 클래스 
    맞춤형 Writable을 구현하기 
    직렬화 프레임워크 
에이브로
  4 파일 기반 데이터 구조 
    SequenceFile 
    MapFile 

5장 맵리듀스 프로그래밍 
  1 환경설정파일 API 
    리소스 결합하기 
    변수 확장 
  2 개발환경 설정하기 
    환경설정파일 관리하기 
    GenericOptionsParser, Tool, ToolRunner 
  3 유닛 테스트 작성하기 
    매퍼 
    리듀서 
  4 로컬에서 실행하기 
    로컬 잡 실행하기 
    드라이버 테스트하기 
  5 클러스터에서 실행하기
    패키징 
    잡 배포하기 
    맵리듀스 웹 UI 
    결과 얻기 
    잡 디버깅 
    원격 디버거 사용하기 
  6 잡 튜닝하기 
    태스크 프로파일하기 
  7 맵리듀스 작업 흐름 
    맵리듀스 잡으로 문제를 분해하기 
    종속적인 잡 실행 

6장 맵리듀스 작동 방법 
  1 맵리듀스 잡 실행 상세분석 
    잡 제출 
    잡 초기화 
    태스크 할당 
    태스크 실행 
    진행 상황과 상태 갱신 
    잡 완료 
  2 실패 
    태스크 실패 
    태스크트래커 실패 
    잡트래커 실패 
  3 잡 스케줄링 
    페어 스케줄러 
    커패시티 스케줄러
  4 셔플과 정렬 
    맵 과정 
    리듀스 관점 
    환경설정 튜닝 
  5 태스크 실행 
    투기적 실행 
    태스크 JVM 재사용 
    비정상 레코드 생략하기 
    태스크 실행 환경 

7장 맵리듀스 타입과 포맷 
  1 맵리듀스 타입 
    기본적인 맵리듀스 잡 
  2 입력 포맷 
    입력 스플릿과 레코드 
    텍스트 입력 
    바이너리 입력 
    다중 입력 
    데이터베이스 입력과 출력 
  3 출력 포맷 
    Text Output 
    바이너리 출력 
    Multiple Outputs 
    느린 출력 
    Database Output 

8장 맵리듀스 기능 
  1 카운터 
    내장 카운터 
    사용자 정의 자바 카운터 
    사용자 정의 스트리밍 카운터 
  2 정렬 
    준비 
    부분 정렬 
    전체 정렬 
    보조 정렬 
  3 조인 
    맵-사이드 조인 
    리듀스-사이드 조인 
  4 사이드 데이터 분배 
    잡 환경설정파일 사용 
    분산 캐시 
  5 맵리듀스 라이브러리 클래스 

9장 하둡 클러스터 설정 
  1 클러스터 명세 
    네트워크 위상 
  2 클러스터 설정 및 설치 
    자바 설치 
    하둡 사용자 생성 
    하둡 설치 
    설치 점검하기 
  3 SSH 설정 
  4 하둡 환경 설정 
    환경 설정 파일 관리 
    개발 환경 설정 
    중요한 하둡 데몬 속성 
    하둡 데몬 주소와 포트 번호 
    다른 하둡 속성들 
    사용자 계정 생성
5 보안
  커버로스와 하둡
사용 예제
위임 토큰들
다른 보안 강화 사항
  6 하둡 클러스터 벤치마킹 
    하둡 밴치마크 
    사용자 잡 
  7 하둡 클라우드 
    아마존 EC2의 하둡 

10장 하둡 관리 
  1 HDFS 
    영속적인 데이터 구조 
    안전모드 
    감사 로깅 
    도구 
  2 모니터링 
    로깅 
    매트릭스 
    자바 관리 익스텐션 
  3 관리 
    일상적인 관리 절차 
    노드 위임과 해제 
    업그레이드 

11장 피그 
  1 피그의 설치 및 실행 
    실행 유형 
    피그 프로그램 실행 
    그런트 
    피그 라틴 편집기 
  2 예제 
    예제 생성 
  3 데이터베이스와 비교 
  4 피그 라틴 
    구조 
    문장 
    표현 
    타입 
    스키마
    함수 
  5 사용자 정의 함수 
    필터 UDF 
    평가 UDF 
    로드 UDF 
  6 데이터 처리 연산자 
    데이터 로드 및 저장 
    데이터 필터링 
    데이터 분류 및 조인 
    데이터 정렬 
    데이터 결합 및 분리 
  7 실전 피그 사용 
    병렬 처리 
    파라미터 대체 

12장 하이브
1 하이브 설치하기 
하이브 쉘 
2 예제 
3 하이브 실행하기 
하이브 설정하기 
하이브 서비스 
메타스토어 
4 전통적인 데이터베이스와의 비교 
읽기 스키마와 쓰기 스키마 
갱신, 트랜잭션, 색인 
5 HiveQL 
데이터 타입 
연산자와 함수 
6 테이블 
관리 테이블과 외부 테이블 
파티션과 버켓 
저장 포맷 
데이터 임포트하기 
테이블 변경하기 
테이블 삭제하기 
7 데이터 쿼리하기 
정렬과 집계 
맵리듀스 스크립트 
조인 
서브쿼리 
뷰 
8 사용자 정의 함수 
UDF 작성하기 
UDAF 작성하기

13장 HBase 
  1 HBasics 
    배경 
  2 개념 
    짧은 데이터 모델 여행 
    구현 
  3 설치 
    테스트 드라이브 
  4 클라이언트 
    자바 
    에이브로, REST, 쓰리프트 
  5 예제 
    스키마 
    데이터 적재 
    웹 쿼리 
  6 HBase와 RDBMS 
    성공적인 서비스 
    HBase 
    사용 사례: streamy.com의 HBase 
  7 연습 
    버전 
    HDFS 
    사용자 인터페이스 
    매트릭스 
    스키마 설계 
    카운터
    벌크로드

14장 주키퍼 
  1 주키퍼의 설치와 실행 
  2 예제 
    주키퍼를 이용한 그룹 멤버쉽 
    그룹 생성 
    그룹 가입 
    그룹 멤버 목록화 
    그룹 삭제 
  3 주키퍼 서비스 
    데이터 모델 
    연산 
    구현 
    일관성 
    세션 
    상태
  4 주키퍼로 응용프로그램 구현하기 
    환경 설정 서비스 
    탄력적인 주키퍼 응용프로그램 
    락 서비스 
    더 많은 분산 데이터 구조와 프로토콜들 
  5 주키퍼 실 서비스 
    탄력성과 성능 
    환경 설정 

15장 스쿱 
1 스쿱 얻기 
2 임포트 예제 
3 생성된 코드 
추가적인 직렬화 시스템 
4 데이터베이스 임포트: 자세히 보기 
임포트 제어하기 
임포트와 일관성 
직접 모드 임포트 
5 불러온 데이터로 작업하기 
임포트된 데이터와 하이브 
6 대용량 객체 임포트하기 
7 익스포트 수행하기 
8 익스포트: 자세히 살펴보기 
익스포트와 트랜잭션성 
익스포트와 시퀀스파일

16장 사례 연구 
  1 Last.fm의 하둡 사용 사례 
    Last.fm: 소셜 음악 혁명 
    Last.fm과 하둡 
    하둡으로 차트 생성하기 
    트랙 통계 프로그램 
    요약 
  2 페이스북의 하둡과 하이브 
    소개 
    페이스북과 하둡 
    가상의 사용 사례 연구 
    하이브 
    문제점과 향후의 작업 
  3 너치 검색 엔진 
    배경 
    데이터 구조 
    너치의 하둡 데이터 처리에 관한 선택 예제 
    요약 
  4 랙스페이스에서의 로그 처리 
    요구 사항/ 문제 
    간략한 역사 
    하둡 선택 
    수집과 저장소 
    로그에 대한 맵리듀스 
  5 캐스케이딩 
    필드, 튜플, 파이프 
    연산 
    탭, 스킴, 플로우 
    캐스케이딩의 실제 예제 
    유연성 
    쉐어디스에서의 하둡과 캐스케이딩 
    요약 
  6 아파치 하둡의 테라바이트 정렬 
7 피그와 우공으로 10억 개 간선 네트워크 그래프 탐색하기 
커뮤니티 측정하기 
모두 나에게 말을 건다: 트위터 응답 그래프 
대칭 링크들 
커뮤니티 추출

부록A 아파치 하둡 설치하기 
  1 준비사항 
  2 설치 
  3 환경 설정 

부록B 클라우데라의 하둡 배포판 

부록C NCDC 기상 데이터의 준비