한빛미디어

한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 5월 서평입니다.

5월의 선택대상 책 중에 최근 관심이 많았던 구글의 빅쿼리가 있어서, 묻지도 따지지도 않고 선택하게 됩니다.

GCP의 구글빅쿼리 온라인 교육도 들어봤는데, 조금은 어려운 감이 있었는데, 이야기를 통해서 풀어간다는 내용이라 감이 왔습니다.

최근 클라우드가 대세에다, 각 클라우드 공급처마다 자신들의 DB를 제공하고, 거기에 빅데이터 활용에 맞춤형 서비스를 제공하고 있는 것도 사실입니다. 그래서 구글은 솔루션 느낌보다는 서비스 느낌이 강한 빅쿼리 대용량데이터도 유연하게 쿼리를 할 수있다는 개념의 서비스로 이름을 붙인거 같습니다.

5월의 책과 한빛미디어 패킹

구글 빅쿼리의 목적은 쉽고 빠르게 빅데이터를 분석해 비즈니스 인사이트를 도출하는 것입니다.

대상독자입니다.

책의 구성은 이야기입니다.

협업에 투입되어, 분석업무 데이터 업무를 하게 된 주인공의 등장으로 이야기가 시작됩니다.

"선배님, 모르는 것이 너무 많지만 이제부터 잘 부탁드립니다!"

클라우드온에어 활용

빅퀄리는 열지향 스토리지입니다. 열 단위로 실행되므로 한 번에 끝나 높은 효율의 처리가 가능하다는 겁니다.

특별히 요새 화두가 되는 데이터 수집 자동화입니다.

데이터 웨어하우스 구축

아키텍처

실측값과 예측값

빅쿼리 스트리밍 인서트

스트리밍 처리, Pub/Sub

데이터 수집 및 분석 플랫폼

범용적인 구성

아키텍처

ELT

 일반 테이블과 분할 테이블

 Airflow

Cloud Composer 아키텍처

한빛미디어 미리보기 서비스

https://preview2.hanbit.co.kr/books/yekc/#p=1

신입사원과 선배 그리고 사내 시스템에 대한 분석에 대한 이야기를 구글 빅쿼리로 풀어갑니다.

여러모로 접근 방법들에 도움이 됩니다.