메뉴 바로가기 검색 및 카테고리 바로가기 본문 바로가기

한빛출판네트워크

9가지 사례로 익히는 고급 스파크 분석

현실 세계 빅데이터로 배우는 가장 실용적인 스파크 활용서

한빛미디어

번역서

판매중

  • 저자 : 샌디 라이자 , 유리 레이저슨 , 션 오언 , 조시 윌스
  • 번역 : 서양주 , 권한철 , 박상은
  • 출간 : 2016-07-01
  • 페이지 : 332 쪽
  • ISBN : 9788968482892
  • 물류코드 :2289
초급 초중급 중급 중고급 고급
4.5점 (2명)
좋아요 : 1
다양한 현실 세계 예제로 스파크의 진면목을 경험한다.
이 책은 독자에게 대량의 데이터셋을 가지고 스파크를 활용해 복잡한 분석을 실제로 해보는 생생한 느낌을 전달한다. 단순히 모델을 구축하고 평가하는 데 그치지 않고, 전체 파이프라인을 돌아보며 데이터 정제, 전처리, 데이터 조사, 실제 제품으로 만들기까지를 보여준다. 이러한 과정을 다양한 분야에서 가져온 현실 예제에 맞게 교차 최소 제곱 추천 알고리즘, 의사 결정 나무(결정 트리), K-평균 군집화, 숨은 의미 분석, 세션화, 몬테카를로 시뮬레이션 등의 기법을 동원해 풀어본다.

 

detail2.jpg

 

 

저자

샌디 라이자

클라우데라의 선임 데이터 과학자이자 아파치 스파크 프로젝트의 활동적인 컨트리뷰터다. 최근에 클라우데라에서 스파크 개발을 이끌었으며 지금은 고객들이 스파크를 사용해 다양한 형태의 분석을 구현하는 데 도움을 주고 있다. 또한 하둡 프로젝트의 관리 위원회 멤버이기도 하다.
저자

유리 레이저슨

클라우데라의 선임 데이터 과학자이며, 하둡 생태계에서의 파이썬 활용에 주력하고 있다. 또한 고객들이 다양한 문제에 하둡을 사용할 수 있도록 지원하고 있는데, 특히 생명 과학과 헬스 케어에 집중하고 있다. 이전에는 MIT에서 생의공학(biomedical engineering) 박사 과정 중에 Good Start Genetics라는 차세대 검진 회사를 공동 창업했다.
저자

션 오언

클라우데라의 유럽/중동/아프리카 대상 데이터 과학팀의 디렉터다. 아파치 머하웃 기계 학습 프로젝트의 커미터이자 중요한 컨트리뷰터로, 머하웃의 Taste 추천 프레임워크를 개발했다. 션은 아파치 스파크의 커미터이기도 하다. 스파크, 스파크 스트리밍, 그리고 카프카로 개발한 하둡에서 동작하는 실시간 대규모 학습을 위한 Oryx 프로젝트(예전에는 Myrrix라고 불렸던)를 만들었다.
저자

조시 윌스

슬랙(Slack) 데이터 엔지니어링팀의 디렉터다. 전에는 클라우데라의 데이터 과학팀의 선임 디렉터로써 고객들과 함께 다양한 업계의 하둡 기반 솔루션을 개발했다. 자바로 최적화된 맵리듀스와 스파크 파이프라인을 만드는 아파치 크런치(Apache Crunch) 프로젝트의 창설자이며 커미터를 맡고 있다. 클라우데라에 합류하기 전에는 구글에서 광고 경매 시스템을 개발했고, Google+에서 사용하는 분석 인프라의 개발을 이끌었다.
역자

서양주

한국과학기술원 학부에서 수학을, 서울대학교에서 석사과정으로 통계학을 전공하였으며, 티맥스소프트를 시작으로 개발자로서 일하게 되었다. 그 후 에스코어에서 2013년 하둡과 스파크를 접한 이후로 빅데이터 분석 업무를 주 업무로 수행하게 되었다. 현재는 카카오 RUBICS TF에서 실시간 콘텐츠 추천 업무를 하고 있다.
역자

권한철

에스코어의 빅데이터 플랫폼인 BigPod™ 개발자로 빅데이터 분석에 스파크를 활용하는 데 주력하고 있다. 특히 실시간 스트리밍 데이터 분석과 통계 및 기계 학습 알고리즘을 활용한 데이터 분석에 관심이 많으며, 인간 생활을 이롭게 하는 기술과 제품을 만드는 것을 개발자로서의 삶의 목표로 하고 있다.
역자

박상은

컴퓨터에 붙은 그림을 보고 애플이라는 단어의 뜻을 알게 된 이 땅의 흔한 개발자 중 한 사람이다. 포항공과대학교에서 전산학을, 한국과학기술원에서 인공지능을 공부했으며, 그 덕분에 알파고와 스카이넷을 구분할 줄 아는 지혜를 갖추게 되었다. 메일, 브라우저, CMS, 도서 관리 시스템 등 일관성을 찾기 어려운 다양한 프로젝트에 참여했으며 그 덕에 물에 물 탄 듯한 경력이 완성되는 듯했으나, 최근 몇 년은 데이터 처리와 하둡과 관련한 연구 개발에 집중하고 있다. 현재 에스코어에서 하둡 생태계를 이용한 데이터 플랫폼인 BigPod™ 개발에 참여하고 있으며, 특히 실시간으로 처리되는 데이터의 수집과 시각화 사이의 시간 간격을 줄이는 데 관심이 있다.

1장. 빅데이터 분석하기

__1.1 데이터 과학의 어려움

__1.2 아파치 스파크란

__1.3 이 책에 관하여

 

2장. 스칼라와 스파크를 활용한 데이터 분석

__2.1 데이터 과학자를 위한 스칼라

__2.2 스파크 프로그래밍 모델

__2.3 레코드 링크

__2.4 스파크 셸과 SparkContext 시작하기

__2.5 클러스터에서 클라이언트로 데이터 가져오기

__2.6 클라이언트에서 클러스터로 코드 가져가기

__2.7 튜플을 사용한 데이터 구조화와 케이스 클래스

__2.8 집계

__2.9 히스토그램 만들기

__2.10 연속 변수에 대한 요약 통계량

__2.11 요약 통계량을 계산하는 재사용 가능한 코드 만들기

__2.12 간단한 변수 선택과 점수 매기기

__2.13 한 걸음 더 나아가기

 

3장. 오디오스크로블러 데이터셋으로 음악 추천하기

__3.1 데이터셋

__3.2 교차 최소 제곱 추천 알고리즘

__3.3 데이터 준비하기

__3.4 첫 번째 모델 만들기

__3.5 추천 결과의 추출 검사하기

__3.6 추천 품질 평가하기

__3.7 AUC 계산하기

__3.8 하이퍼파라미터 선택하기

__3.9 추천 결과 만들기

__3.10 한 걸음 더 나아가기

 

4장. 의사 결정 나무로 산림 식생 분포 예측하기

__4.1 회귀로 돌아와서

__4.2 벡터와 특징

__4.3 학습 예제

__4.4 의사 결정 나무와 랜덤 포레스트

__4.5 Covtype 데이터셋

__4.6 데이터 준비하기

__4.7 첫 번째 의사 결정 나무

__4.8 의사 결정 나무 하이퍼파라미터

__4.9 의사 결정 나무 튜닝하기

__4.10 범주형 특징 다시 살펴보기

__4.11 랜덤 포레스트

__4.12 예측하기

__4.13 한 걸음 더 나아가기

 

5장. K-평균 군집화로 네트워크 이상 감지하기

__5.1 이상 감지

__5.2 K-평균 군집화

__5.3 네트워크 침입

__5.4 KDD 컵 1999 데이터셋

__5.5 첫 번째 군집화하기

__5.6 k 선정하기

__5.7 R에서 시각화

__5.8 특징 정규화

__5.9 범주형 변수

__5.10 엔트로피와 함께 레이블 활용하기

__5.11 군집화하기

__5.12 한 걸음 더 나아가기

 

6장. 숨은 의미 분석으로 위키백과 이해하기

__6.1 단어-문서 행렬

__6.2 데이터 구하기

__6.3 파싱하여 데이터 준비하기

__6.4 표제어 추출

__6.5 단어빈도-역문서빈도(TF-IDF) 계산하기

__6.6 특이값 분해

__6.7 중요한 의미 찾기

__6.8 낮은 차원 표현에 대한 의문과 고찰

__6.9 단어와 단어 사이의 연관도

__6.10 문서와 문서 사이의 연관도

__6.11 단어와 문서 사이의 연관도

__6.12 여러 개의 단어로 질의하기

__6.13 한 걸음 더 나아가기

 

7장. 그래프엑스로 동시발생 네트워크 분석하기

__7.1 네트워크 분석 사례: MEDLINE의 인용 색인

__7.2 데이터 구하기

__7.3 스칼라 XML 라이브러리로 XML 문서 파싱하기

__7.4 MeSH 주요 주제와 주제들의 동시발생 분석하기

__7.5 그래프엑스로 동시발생 네트워크 구성하기

__7.6 네트워크의 구조 이해하기

__7.7 관련성 낮은 관계 필터링하기

__7.8 작은 세상 네트워크

__7.9 한 걸음 더 나아가기

 

8장. 뉴욕 택시 운행 데이터로 위치 및 시간 데이터 분석하기

__8.1 데이터 얻기

__8.2 스파크에서 시간과 지리 데이터 다루기

__8.3 JodaTime과 NScalaTime을 이용한 시간 데이터

__8.4 Esri Geometry API와 Spray를 사용한 지리 데이터

__8.5 뉴욕 택시 운행 데이터 준비하기

__8.6 스파크에서 세션화하기

__8.7 한 걸음 더 나아가기

 

9장. 몬테카를로 시뮬레이션으로 금융 리스크 추정하기

__9.1 금융 분야 전문 용어

__9.2 VaR 계산 방법

__9.3 우리의 모델

__9.4 데이터 구하기

__9.5 전처리하기

__9.6 요인 가중치 결정하기

__9.7 표본추출하기

__9.8 다변량 정규분포

__9.9 실험 실행하기

__9.10 수익 분포 시각화하기

__9.11 결과 평가하기

__9.12 한 걸음 더 나아가기

 

10장. BDG 프로젝트와 유전체학 데이터 분석하기

__10.1 모델링과 저장소를 분리하기

__10.2 ADAM CLI를 이용한 유전체학 데이터 처리

__10.3 ENCODE 데이터로부터 전사인자 결합 부위 예측하기

__10.4 1000 게놈 프로젝트에서 유전자형 질의하기

__10.5 한 걸음 더 나아가기

 

11장. 파이스파크와 썬더로 신경 영상 데이터 분석하기

__11.1 파이스파크 소개

__11.2 썬더 라이브러리 개요와 설치

__11.3 썬더로 데이터 읽어 들이기

__11.4 썬더를 이용해서 신경 세포 유형 분류하기

__11.5 한 걸음 더 나아가기

 

부록 A 스파크 더 깊숙히

__A.1 직렬화

__A.2 어큐뮬레이터

__A.3 스파크와 데이터 과학자의 작업흐름

__A.4 파일 형식

__A.5 스파크의 하위 프로젝트들

 

부록 B MLlib 파이프라인 API

__B.1 단순한 모델링을 넘어서

__B.2 파이프라인 API

__B.3 문서 분류 예제 검토

 

스파크 실전편! 실무와 가장 가까운 경험을 제공한다.

이 책은 기능과 API를 단조롭게 나열하지 않는다. 현실과 동떨어진, 예제를 위한 예제를 따라 하지도 않는다. 대신 우리 주변에서 찾을 수 있고 우리 삶과 밀접한 실제 데이터를 가져와 함께 분석하고 다듬어본다. 그것도 하나가 아니라 9가지다. 음악 추천부터 이상 감지, 교통, 금융, 영상 데이터 등. 관심 가는 장을 먼저 봐도 좋고, 차례대로 천천히 따라 해봐도 좋다. 그럼 가장 진보한 분석 도구인 스파크로 다 함께 데이터의 바다를 항해해보자! 

현실 세계 데이터셋과 스파크의 만남

1. 오디오스크로블러(AudioScrobbler) 데이터셋으로 음악 추천하기
2. 의사 결정 나무로 산림 식생 분포 예측하기
3. K 평균 군집화로 네트워크 이상 감지하기
4. 숨은 의미 분석으로 위키백과 이해하기
5. 그래프엑스(GraphX)로 동시발생 네트워크 분석하기
6. 뉴욕 택시 운행 데이터로 위치 및 시간 데이터 분석하기
7. 몬테카를로 시뮬레이션으로 금융 리스크 추정하기
8. BDG 프로젝트와 유전체학 데이터 분석하기
9. 파이스파크(PySpark)와 썬더(Thunder)로 신경 영상 데이터 분석하기

  • 9가지 사례로 익히는 고급 스파크 분석

    제목 그대로 각 예제를 통해 스파크 분석을 맛볼 수 있는 책입니다.

     

    책에 담겨져있는 예제들은 교과서 적인 예제들을 벗어나서

    과거 실제로 분석에 사용되었던 자료를 사용하였습니다.

    그래서 이를 통해 나중에 현장에서 실질적인 분석을 수행하실때 

    비슷한 주제의 부분을 참고하시기에 좋아보입니다.

     

    이 책은 해당 분야에 대한 큰 그림을 독자에게 설명합니다.

    (물론 분석은 스파크를 이용 하였구요.)

    하지만 분석의 세세한 부분의 설명은 부족합니다.

    책에서도 언급했듯이 이 책에서는 선형대수학이나 통계학에 대한 설명이 없습니다.

    그래서 주성분 분석이나 특이값 분해 등등의 내용들은 따로 공부를 하셔야 합니다.

    (위키피디아 내용으로 대체된 설명이 많은데 그런걸로 커버가 가능한지는 잘 모르겠습니다.)

    저는 내용을 따라가다 보면 스칼라 코드에 대해 이해하기 위한 시간보다

    이런 분석에 이 과정을 왜 하지?를 찾아보고 이해하는데 시간이 더 많이 소요되었습니다.

     

    그리고 책이 유연하다는 느낌을 많이 받았습니다.

    스파크 만을 이용해서 예제를 분석하려 하지 않고 부족한 부분은 다른 언어를 이용합니다.

    물론 다른 언어에 대한 코드도 포함되어 있습니다만 책에 기제되어 있는 각 코드의 한줄한줄 설명은 없습니다. 

    만약 해당 언어에 대해 생소하시다면 약간의 거부감을 가질 수도 있습니다.

     

    이 책은 스파크를 처음 접하시는 분들에게 입문용으로는 글쎄요? 입니다.

    하지만 스파크를 한번이라도 사용해 봤어 하시는 분들에게는 추천 드립니다.

    스파크를 직접 부딪히면서 배워가기에 참 좋은 책입니다.

     

    감사합니다.

  • 아파치 스파크를 활용해 데이터를 분석하는 방법을 다루는 책으로,

    다양한 종류의 데이터로 어떻게 추천 시스템을 만들고 예측을 하는지 설명하고 있습니다.

     

    책에 나오는 예제들은 데이터를 가공하고 처리하고 분석하는 과정을 자세히 설명하고 있어서

    소장해 놓았다가 실제로 데이터 처리를 할 때 꺼내보면 도움이 많이 될 것 같습니다.

     

    이 책은 다른 데이터마이닝 책에서 기본적으로 다루는 개념들을 쉬운 말로 풀어서 설명합니다.

    랜덤 포레스트, K-평균 군집화, TF-IDF 같이 이론으로만 접했던 내용들을 

    실제로 스파크에서 코딩하며 실습해 볼 수 있어서 유용합니다.

     

    다만 스칼라 문법을 모르는 초보자가 이 책에 있는 코드를 이해하기에는 조금 어려운 감이 있습니다.

    스칼라 문법이나 스파크 사용법은 따로 찾아보면서 실습을 해보면 좋을 것 같습니다.

결재하기
배송료 : 0원배송료란?

배송료 안내

  • 책, 아이템 등 상품을 3만원 이상 구매시 무료배송
  • 브론즈, 실버, 골드회원이 주문하신 경우 무료배송

무료배송 상품을 포함하여 주문하신 경우에는 구매금액에 관계없이 무료로 배송해 드립니다.

닫기

리뷰쓰기

닫기
* 도서명 :
9가지 사례로 익히는 고급 스파크 분석
* 제목 :
* 별점평가
* 내용 :

* 리뷰 작성시 유의사항

글이나 이미지/사진 저작권 등 다른 사람의 권리를 침해하거나 명예를 훼손하는 게시물은 이용약관 및 관련법률에 의해 제재를 받을 수 있습니다.

1. 특히 뉴스/언론사 기사를 전문 또는 부분적으로 '허락없이' 갖고 와서는 안됩니다 (출처를 밝히는 경우에도 안됨).
2. 저작권자의 허락을 받지 않은 콘텐츠의 무단 사용은 저작권자의 권리를 침해하는 행위로, 이에 대한 법적 책임을 지게 될 수 있습니다.

오탈자 등록

닫기
* 도서명 :
9가지 사례로 익히는 고급 스파크 분석
* 구분 :
* 상품 버전
종이책 PDF ePub
* 페이지 :
* 위치정보 :
* 내용 :

도서 인증

닫기
도서명*
9가지 사례로 익히는 고급 스파크 분석
구입처*
구입일*
부가기호*
부가기호 안내

* 회원가입후 도서인증을 하시면 마일리지 500점을 드립니다.

* 한빛 웹사이트에서 구입한 도서는 자동 인증됩니다.

* 도서인증은 일 3권, 월 10권, 년 50권으로 제한됩니다.

* 절판도서, eBook 등 일부 도서는 도서인증이 제한됩니다.

닫기

해당 상품을 장바구니에 담았습니다.이미 장바구니에 추가된 상품입니다.
장바구니로 이동하시겠습니까?

자료실