한빛미디어

필자는 데이터에 관심만 있고 이것저것 찍먹만 해본 상태이다. 데이터 관련 프로젝트는 예전에 해수부에서 했던 통계사이트 작업이 제일 많이 다룬 일이었고 그밖에 디비는 어떤 프로젝트던지 사용하기 때문에 그냥저냥 사용하는 수준이다. 데이터를 요리하면 뭐 하나 맛있는거 만들 수 있을까? 하는 마음에 이 책을 보게 되었다. 이 책을 읽기 전에 데이터 분석에 관련된 것인 줄 알았다. 전체적으로 훑어보니 그건 아니었고 데이터 관리 시스템 구축에 대한 내용으로 구성되어 있다.

​

​책에서 데이터엔지니어링에 대한 정의 부분에 많은 부분을 할애한다. 각종 사전에서 데이터 엔지니어링이 무엇인지 가져와서 통합해서 정의를 내린 내용은 다음과 같다.

정의가 참 복잡스럽다. 그냥 쉽게 이야기하자면 데이터엔지니어링은 데이터를 가지고 분석하기 위한 이전단계 작업이라 할수 있다.

​

책의 전반적인 내용은 위의 그림에 대한 내용을 쭉 풀어 썼다고 생각하면 된다.

데이터를 어떻게 생성,저장,수집,변환,서빙을 하는지 전체적인 원칙에 대해서 아주 상세하게 설명을 하고 있다. 원칙에 대한 내용이 많다. 이 책 전체 페이지가 자그만치 1000페이지가 넘어간다. 물론 난 다 읽지 않았다. 그냥 훑어봤다.

책을 보다가 좀 흥미로운 내용이 있어 첨부한다. 마치 매슬로의 욕구단계인듯 하지만 데이터 과학의 욕구단계가 있다고 하면서 그림을 하나 보여준다. 그림을 보고 알 수 있는 건 모든 데이터는 결국 AI의 밥이라는 것이다. 어떤 데이터든 열심히 쌓아서 AI에게 먹이로 주어 뭔가 신기방기한 것을 하는 것을 목표로 한다.

​

• 데이터 엔지니어링 수명주기의 주요 단계 및 단계별 기술과 원칙에 대한 내용

• 인터넷에 뿌려져있는 다양한 데이터(다운스트림데이터)들을 수집하고 저장하기위한 인프라 설계 구축

• 데이터 시스템 구축에 있어서 보안과 개인정보보호를 위해 고려해야 할 내용들

​

이 책은 데이터관련한 아~주 전반적인 내용을 다루고 있다. 구축 관련한 깊은 기술적인 내용이 있을것이라 생각했는데 그것 보다는 정말 전~반적인 관련 내용을 다루고 있다. 데이터 관련 작업을 해보지 않았거나 전반적인 내용을 알고 싶다면 이 책을 통해 도움을 받을 수 있을 것 같다. 기술 개념적인 내용 전반적인 이론에 대한 내용이 대부분을 차지하고 있다.

​

​

분량이 분량이니만큼 다양한 기술들에 대한 내용을 읽어볼 수 있다. 아~주 전반적인 부분을 다루기 때문에 읽어볼 부분들이 많다. 이 책은 데이터 구축 및 운영에 대해 전반적으로 알고자 하는 사람들에게 추천한다.

​