한빛미디어

 ‘견고한 데이터 엔지니어링’은 데이터 엔지니어링의 개념과 데이터 엔지니어의 역할, 데이터 엔지니어링 단계별 상세 기술을 설명한다. 사실 나는 데이터 사이언스와 데이터 엔지니어링의 경계가 모호하다고 여겼다. 이 책을 읽고 나서야 꽤 분명하게 나눠져 있음을 깨닫게 되었다. 데이터 사이언티스트와 데이터 엔지니어가 긴밀하게 협업해야 하므로 서로 간의 업무와 전반적인 흐름 파악을 위해서라도 이 책을 읽는 것이 도움이 될 것이다.

이 책의 주요 독자는 기술 실무자, 중/고급 소프트웨어 엔지니어, 데이터 과학자, 데이터 엔지니어링 분야로 전환하려는 분석가, 특정 기술 분야에서 일하지만 더 포괄적인 관점을 개발하려는 데이터 엔지니어다. 2차 대상 독자는 데이터 엔지니어 팀을 감독하는 기술 배경을 가진 데이터 팀 리더 또는 온프레미스 환경에서 클라우드 기반 솔루션으로 마이그레이션 하려는 데이터 웨어하우징 책임자 등, 기술 실무자와 연계해 작업하는 데이터 이해관계자다.

17쪽, 견고한 데이터 엔지니어링.

저자 조 라이스와 맷 하우슬리는 이 책의 주요 독자가 데이터 산업의 실무자로 어느 정도 지식을 갖춘 자가 읽어야 한다고 했다. 하지만 책의 내용이 꽤 친절해서 추천사에 나온 추천 대상 독자를 염두에 두어도 좋을 것 같다. (아래 항목 참고)

• 데이터 엔지니어링 분야의 큰 그림을 그리고 싶은 분
• 데이터 엔지니어 업무를 희망하는 분
• 데이터 엔지니어 업무를 하고 계신 분
• 데이터 분석가, 데이터 과학자 직무 담당자로서 데이터 엔지니어링을 이해하려는 분

최소 데이터에 대한 관심이 있는 이가 책을 읽는다면 좋을 것 같다. 나 같은 경우, 위의 사항에는 해당되는 바가 없지만 데이터 아키텍처에 대한 설명에 꽤 흥미를 가졌다.

• 1부: 데이터 엔지니어링 기반 구축하기
• 2부: 데이터 엔지니어링 수명 주기 심층 분석
• 3부: 보안, 개인정보보호 및 데이터 엔지니어링의 미래
• 부록: 직렬화, 압축 및 클라우드 네트워킹

 책의 목차는 훨씬 세부적으로 나누어져 있지만 크게 3부로 나뉘어 있다고 보아도 무방하다. 이 중에서도 가장 주요한 내용은 ‘데이터 생성, 저장, 수집, 변환, 서빙 등을 다루는 데이터 엔지니어링 수명 주기’이다. 각 단계는 관련 용어들을 주욱 늘어놓고 설명해 주기 때문에 읽으면서 차츰 이해할 수 있을 것이다. 이 단계에서 별도의 코드 예시를 보여주지는 않고 오로지 글로 세심히 분석한다. 가령, ‘데이터 저장’ 단계에서는 자기 디스크 드라이브, SSD, 직렬화, 스토리지 등의 개념을, ‘쿼리 모델링 및 데이터 변환’ 단계에서는 쿼리, 데이터 모델링, 변환, 유관 담당자 등의 모든 개념을 설명하는 식이다. 당장의 업무를 진행하기 위해서는 조금 더 세부적인 스킬을 파악할 수 있는 책을 별도로 구비해둬야 할 것이다. 이 책으로는 데이터 엔지니어링에 관한 큰 흐름을 파악하고, 불분명하게 남아있던 개념을 명확히 하는데 큰 도움을 구할 수 있다. 실습부터 진행하며 체득하였더라도 개념을 한번 다잡고 가는 시간 또한 필요하리라 생각된다.

데이터 엔지니어링은 원시 데이터(raw data)를 가져와 분석 및 머신러닝과 같은 다운스트림 사용 사례를 지원하는, 고품질의 일관된 정보를 생성하는 시스템과 프로세스의 개발, 구현 및 유지 관리이다. 데이터 엔지니어링은 보안, 데이터 관리, 데이터 운영, 데이터 아키텍처, 오케스트레이션, 소프트웨어 엔지니어링의 교차점이다.

43쪽, 견고한 데이터 엔지니어링.

데이터 엔지니어링을 설명하는 개념이다. 꽤 추상적으로 느껴질 수 있으니 데이터 엔지니어에 대한 설명을 더 읽어보도록 한다.

데이터 엔지니어는 원천 시스템에서 데이터를 가져오는 것부터 시작해 분석 또는 머신러닝과 같은 사용 사례에 데이터를 제공하는 것으로 끝나는 데이터 엔지니어링 수명 주기를 관리한다.

43쪽, 견고한 데이터 엔지니어링.

데이터 엔지니어링의 범위가 꽤 넓어서 데이터 엔지니어의 역할을 알고 가면 조금 더 구체적으로 파악할 수 있다.





크게 데이터 엔지니어링 수명주기를 보여준 뒤, 데이터의 진화와 현황을 설명한다.

 전공 시절 내내 보았던 매슬로우의 욕구 단계를 데이터 과학 욕구 단계로 각색한 부분도 재밌었다. 마크 트웨인의 '역사는 그대로 반복되지 않지만, 그 흐름은 분명 반복된다.'를 인용하여 데이터 엔지니어의 진화를 설명하기도 하는 등 인문학적인 요소를 IT에 접목해서 설명해서 더욱 재미있게 읽을 수 있었다.

https://www.youtube.com/c/TernaryData

 이 책의 저자인 조 라이스와 맷 하우슬리는 유튜브를 통해 ‘Monday Morning Data Chat’으로 개발자들과 소통한다고 한다. 데이터에 관심이 있는 사람들은 이 채널을 통해 한 번쯤 소통하는 것도 좋을 것 같다.

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.