독자리뷰
[리뷰] 파이썬 라이브러리를 활용한 데이터 분석
bum***
2019-07-13
파이썬 라이브러리를 활용한 데이터 분석(2판)
이 책은 NumPy, pandas, matplotlib, IPython, Jupyter 등 다양한 파이썬 라이브러리를 사용해서 효과적으로 데이터를 분석하는 방법을 알려준다. pandas의 새로운 기능뿐만 아니라 메모리 사용량을 줄이고 성능을 개선하는 고급 사용법까지 다룬다. 또한 모델링 도구인 statsmodels와 scikit-learn 라이브러리도 소개한다. 연대별 이름 통계 자료, 미 대선 데이터베이스 자료 등 실사례로 따라 하다 보면 어느덧 여러
- 저자 : 웨스 맥키니
- 번역 : 김영근
- 출간 : 2019-05-20
이번에 리뷰할 책은 파이썬 라이브러리를 활용한 데이터 분석(http://www.hanbit.co.kr/store/books/look.php?p_code=B6417848794)입니다.
데이터 분석으로 유명한 pandas 라이브러리를 개발한 웨스 맥키니가 쓴 책의 최신 개정판입니다. (쓸데는 없지만 구판은 표지의 두더지 방향이 우측을 향하고 있습니다. ^^)
몇년전부터 머신러닝 딥러닝등 인공지능에 관한 관심이 뜨겁습니다.
훈련 데이터로 가져와 학습을 시키고, 테스트 데이터로 예측을 하고, 시각화하고 결과를 분석하는식으로 동작하며
주로 python, numpy, pandas등과 머신러닝 라이브러리등을 이용해서 이루어집니다.
이런 데이타는 그냥 주어지는게 아니라 사전에 잘 정제하는 작업이 필요합니다.
행과 열을 바꾼다던지 일부를 조작한다든지 빈값을 채운다던지,
대량의 데이타에서 SQL다루듯이 조건에 맞는 필터링도 필요합니다.
원하는 데이타는 어떤 컬럼을 통해서 구해지는지 그런 컬럼이 데이타에 없다면 어떤 컬럼들을 조합이나 생성해서 만들어낼지
에 대한 생각도 필요합니다.
이 책은 650페이지정도 분량으로 해당 내용들을 다룹니다.
- 설치 ipython, jupyter notebook사용법등에서는 자동완성이나 매직명령어
- 파이썬 기초: 리스트, 튜플, 사전(딕셔너리) ,날짜 함수 등등
- numpy/pandas:
- 데이터 로딩 저장
- 데이터 조입 병합 변형/ 집계 그룹연산
- 시각화 matplotlib
- 시계열데이터
- 데이터 분석 예제
주로 다루는 데이타가 리스트나 테이블 형태라
연산결과를 전/후 데이타를 보여주느라 페이지수가 늘어나긴 하지만 이해에는 확실히 도움이 되네요.
DB를 통하지 않고서도 pandas로도 꽤 많은 집합연산등을 할 수 있다는걸 알게되었고,
빈 값이나 더미데이타를 제거하고, 테이블형태를 입맛에 맞게 잘라붙이거나 합치거나 행렬을 전치등을 꽤 자유롭게 해서
전처리 작업에 꽤 유용할 거 같습니다.
초반부 파이썬 기본문법에 어느정도 익숙해지셨다면 14장 데이터분석예제를 먼저 대략 살펴보시면 분석을 위해 무슨 무슨 단계가
필요하다는 것을 파악한 후에 다시 앞으로 와서 관련 기능 및 사용법등을 익히면 좀 더 잘 받아들일수 있을거 같습니다. 그리고 axis(축)이나 브로드캐스팅등은 부록에 그림으로 설명을 먼저 읽어보시면 도움이 될 거 같습니다.
날짜계산시 타임존관련 내용은 다국어버전도 고려한다면 주의해야 할 내용인거 같고,
데이터분석 예제는 영화 평점, 이름 통계, 선거 데이터 등 실사례들을 사용한 챕터인데
주어진 데이타로 원하는 결과에 대한 답을 얻기 위해 단계별로 어떤 정보를 어떻게 조합해 만들어내는지 많은 도움이 된 파트였습니다.
이 챕터 분량이 더 많았으면 좋겠다는 생각이 듭니다.
