한빛미디어

"개발자를 위한 파이썬(한빛미디어)"을 읽으면서 웹 크롤러(chapter9. 크롤링 웹 어플리케이션 만들기)을 학습 하였는데 이번 기회에  "파이썬으로 웹 크롤러 만들기"라는 웹 크롤링만 집중해서 쓰여진 책을 읽게 되었다. 

우선 이 책 "파이썬으로 웹 크롤러 만들기" 는 웹 크롤러를 한다고 가정하면 "꼭 읽어봐야 하는 책" 이라고 생각한다.

언어에 상관없이 무조건 한번을 읽어보면 웹 크롤러를 쉽게 그리고 어떻게 해야 하는지 알수 있는 책이라고 생각한다. 

우선 자바를 주력으로 개발하는 입장에서 웹 크롤러를 자바로 하기는 했지만 "파이썬으로 웹 크롤러 만들기" 라는 책을 읽으면서

파이썬 언어의 강력함과 그리고 웹 크롤러를 진행 하였을때 생각했던 어려움(로그인 문제, 문서 읽기, 자브스크립트 스트레이핑)등 그리고  이슈사항(여러 웹을 크롤링 할때 모듈을 분리하는 방법 등등)들이 거의 모든것이 "파이썬으로 웹 크롤러 만들기" 에서 이야기하고 설명하고 있었다. 

저자의 식견이나 그리고 설명이 너무나 자세해서 놀랄정도로 좋은 내용이었었던 같다. 

이 책의 주요 장점이라면 

1. 하나의 예제를 다양한 방법으로 차례차례 설명 하고 있고 현업에서 요구하는 사항 및 변경 사항 등을 제시하고 프로그램을 업그레이드하면서 실행 및 개선을 진행하면서 학습을 할 수 있게 쓰여있었다. 

(유지관리가 쉬운 웹 크롤러를 구축하는데 필요한 테크닉과 패턴을 제시하고 있음)

2. 데이터 저장 방식에 대한 기재 (CSV, MYSQL) : 다른 책에는 언급하지 않은 내용

3. 고급 스크레이핑 12개

- 문서읽기 => csv, pdf, 마이크로소프트 워드문서 

- 지저문한 문서 정리하는 방법 -> 정규화 , 활용할수 있는 오픈소스 등

- 폼과 로그인 뚫기 -> 로그인을 ˚고 정보 얻기

- 자바스크립트 스트레이핑 

- API를 통한 크롤링 (API요청, 응답, JSON 파싱)

- 이미지 처리와 텍스트 인식(웹사이트 이미지에서 텍스트 스크레이핑하기)

4. 고급 스크레이핑 중 18장. 웹 스크레이핑의 합법성과 윤리 : 저작권과 법률에 대한 고민을 해볼 수 있는 내용 

웹 크롤러를 하면서 고민했던 여러가지 문제 (로그인 문제, 법적인 문제)등에 대해서 설명을 하고 있었고 해당 사항등은 업무에서도 활용 및 도움이 되는 주제였다. 

단점 

실습을 하면서 파이썬 버전 및 프로그램 설치시 오류

: 해당문제는 "파이썬으로 웹 크롤러 만들기" 책의 문제가 아닌 파이썬을 설치하면서 언제나 고생하는 문제인데 버전 및 설치 환경이 바뀌니 계속 확인하면서 수정하는 방법 밖에는 없을 것 같다. 

마지막으로 OREILLY 책이 어렵다고 생각했는데 이 책은 정보, 난이도, 현업에 적용하기 위해서도 최고라고 생각한다. 

꼭 읽어보기를 추천 해본다.