한빛미디어

예전부터 오라일리 책을 읽고 싶었다. 그 이유는 귀여운 동물들이 표지에 그려져 있기 떄문인데 이 책에는 사바나천산갑 이라는 동물이 그려져있는것같다. 아무튼 이번에 기회가 되서 파이썬으로 웹 크롤러만들기 2판 책을 읽게 되었다.

​

요즘 파이썬이라는 언어 하면 딥러닝 머신러닝 같은 인공지능이 생각나지만 옛날에는 크롤링이 먼저 떠올랐다.

​

나도 예전에 직접 파이썬 크롤링을 이용하여 나만의 api를 만들어서 웹페이지에서 호출해본적이 있는데

그때에는 진짜 간단하게 BeautifulSoup를 이용해서 html내의 데이터를 파싱했었다.

그런데 이 책을 보니 bs도 다루고 그 뒤에는 스크레이피사용, 데이터를 csv에 저장, 폼과 로그인 뚫기등 고급적인

내용을 다루고 있어 예전에 bs만 썼던 나에게 새로운 지식을 배우게 해준것 같다.

​

그리고 책의 마지막에는 제일 중요한 합법성과 윤리에 대해 다루고있다.

실제로 내가 듣기로는 어떤 크롤링 프로그램이 크롤링을 하다가 너무 많이 요청을 해서 ip밴을 먹은 경우도 있다고한다.

그래서 이 챕터 18에서는 저작권법과 robots.txt , 실제 사례를 다루고있어 도움이 많이되었다.