[데이터 전처리 대전] 도서 리뷰

young***

2019-12-14

데이터 분석의 품질에 큰 영향을 미치는 데이터 전처리는 매우 중요한 작업이다. 전처리 공정을 전체적으로 이해하려면 프로그래밍 언어에 관한 이해뿐만 아니라 통계학이나 머신러닝에 관한 기반 지식이 필요하지만 이를 포괄적으로 설명하는 책은 없었다.

최근에 상황이 가능해서 오프라인 교육을 몇 가지 수강했다.

R을 이용한 데이터 분석, 파이썬을 이용한 데이터 분석, 텐서플로우를 이용한 딥 러닝, ...

예전에 실무에서도 많이 느꼈고 새삼스레 이런 교육들을 듣다 보니(실습이나 예제를 하려면 필수)

데이터 전처리 작업이 대부분의 경우에 필요하고 의외로 이 부분이 엄청난 시간과 리소스를 필요로 한다.

교육 도중에도 어느 수강생이 '데이터 전처리' 에 대해서 레퍼런스를 알려달라 했더니,

강사가 구글 검색해서 자신에게 맞는 책을 보라고 했던 기억도 난다.

개인적으로 아주 시기 적절하게 이 책이 나와 보게 되었는데 일단 먼저 후한 점수를 주고 싶다.

그 이유는 이 책의 쿡북 형태(특정 문제나 주제를 어떻게 해결할지 서술)를 띠고 있으며,

데이터 처리에 요즘 가장 많이 사용하는 R, SQL, 파이썬 3가지 언어로 설명을 하고 있기 때문이다.

책의 분량은 360 페이지 정도로 부담 없는 사이즈 이지만 내용은 약간 고급 내용도 다루고 있다.

목차를 보면 처음에는 단순하게 최빈값, 순위 계산, 데이터 조인 등을 다루다가

뒤로 갈수록 데이터 분석 모델이나 머신 러닝 관련 내용들이 나온다.

아마 원저자는(일본 사람이다) 단순한 데이터 전처리가 아니라 머신 러닝을 위한 데이터 전처리를 책에 담고 싶었나보다.

책에 나오는 예제를 실습하기 위해서는 아마존 레드쉬프트, R, 파이썬을 설치해야 한다.

부록에서 설명은 되어 있지만 R, 파이썬 설치는 너무 쉬워서 문제가 없을텐데

MySQL이나 PostgreSQL 등의 접하기 쉬운 DB가 아닌 생뚱 맞게 DB를 아마존 레드쉬프트를 사용하는 것은 옥의 티?

R, SQL, 파이썬 3가지 언어로 설명하고 있고, 책의 뒤편으로 갈수록 고급 내용이나 머신 러닝 등의 내용이 나온다고 했는데

아래 사진을 보면 SQL 설명이 없는 내용들이 꽤 나온다.

이건 저자가 일부러 설명을 안하는게 아니라 대부분의 머신 러닝 알고리즘은

SQL 로 구현이 불가능하거나 아주 어렵기 때문에 실무에서도 대부분 다른 언어로 대체하기 때문이다.

결론! 데이터 전처리만 하더라도 다양한 방법/언어/라이브러리가 있으므로

엄청난 분량이 나올 수 있지만 이 책은 3가지 언어로 핵심만 설명하고 있다.

이 책에 나오는 내용들은 전반적인 큰 숲을 둘러보는 용도로 사용하고,

실무 프로젝트에서의 디테일한 부분은 각각의 언어나 라이브러리를 이용하여 각개격파 하는 방식으로 접근하길 추천한다.

한빛미디어