한빛미디어

웹에서 내가 원하는 데이터를 지속적으로 가져오는 프로그램을 만들고 싶어하는 사람들이 많다. 이 책 "Web Scraping with Python: 파이썬으로 웹 크롤러 만들기 2판"에서는 파이썬으로 나만의 웹 크롤러를 만드는 방법을 알려준다. 기본적으로 파이썬 프로그래밍 언어와 웹 프로그래밍에 대해 기초는 가지고 있어야 책에 있는 코드들을 이해하기 좋다.

책의 파트1의 챕터들의 코드를 실습해보고 나면 웹 페이지를 가져오는 방법과 그 안에서 내가 원하는 데이터를 가져오는 원리를 알 수 있다. 복잡한 웹 페이지에서도 필요한 정보를 추출하는 노하우를 책에서 자세히 설명해준다. 특히 파이썬 언어의 간결한 문법 덕분에 코드를 이해하기에도 한결 수월하다. 처음엔 한 페이지의 정보만 가져오지만 나중에는 사이트의 모든 페이지를 가져오는 크롤러도 만들어 볼 수 있다. 그리고 다양한 유형의 웹 사이트에서 정보를 가져오기 위한 모델 수립 과정도 배울 수 있다. 파트1의 후반부에서는 수집한 데이터를 데이터베이스, 파일 스트림, 이메일로 관리할 수 있는 방법을 소개한다. 이 부분을 잘 배우고 나면 웬만한 애플리케이션을 제작하는데 문제가 없을 것이다.

로그인이 필요한 사이트의 데이터는 어떻게 가져올지 궁금하였는데 이 책의 파트2를 읽으면 이 문제의 정답을 알 수 있다. 파트2에서는 좀 더 고급 스크레이핑 기술을 알려준다. 내용이 조금 어렵기 때문에 필요한 부분을 먼저 읽는 것도 방법일 수 있다. 단순히 웹 크롤러를 만드는 것에 국한하지 않고 웹 스크레이핑의 윤리에 관해 생각해볼 수 있는 챕터가 있어 흥미롭게 읽을 수 있었다.