한빛미디어

"한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬 받아 작성된 서평입니다."

코딩을 처음 배울 때 보통 html 혹은 파이썬으로 나뉘고는 한다. 필자는 프론트엔드 쪽으로 갈만큼 html과 css를 더 좋아했어서 그런지, 파이썬을 배우다 보면 ’이걸 어디에 써먹을 수 있을까?’란 생각이 들고는 했다. 하지만 괜히 인기있는 언어가 아니듯, 파이썬으로 할 수 있는 건 굉장히 많다. 그 중에서도 가장 대표적인 것 중 하나이 바로 '웹 크롤링'이다. 웹에서 원하는 정보를 자동으로 수집하고 뉴스 기사, 쇼핑몰 정보, 게시판 글 등 흩어져 있는 데이터를 한데 모아보는 건, 꽤나 흥미롭고 강력하다.

​

하지만 웹 크롤링이 처음인 사람들이라면 어디서부터 어떻게 시작해야할 지 막막할 거다. <파이썬으로 웹 크롤러 만들기>는 어느정도 파이썬을 알고 있으나 웹 크롤링을 전혀 모르고 있던 입문자를 위해 차근차근 길을 안내해준다.

"

웹 스크레이퍼가 이와 비슷한 상황을 피하려면 어떤 교훈을 얻을 수 있을까요?

아마도 가장 좋은 출발점은 남에게 피해 주는 행동은 하지 말자는 것이겠죠.

<파이썬으로 웹 크롤러 만들기> p.62​

"

책은 웹 스크레이핑으로 들어가기 전에 인터넷 작동 원리부터 시작한다. 네트워킹이 어떤 계층이 있는지, HTML과 CSS, 자바스크립트는 뭔지, 개발자 도구는 어떻게 사용하는 건지 등 기본적인 내용들을 알려준다. 여기에 추가로 해당 작업은 데이터를 무작위로 수집하는 것이기에 우리가 침해해야 하지 말아야할 것들 또한 말해준다. 웹 스크레이핑 윤리와 관련된 법적 공방 사례를 말하며 반드시 이 부분을 주의하라고 거듭 말하기도 한다.

​

어느정도 필요한 조언을 주고 나서는 본격적으로 웹 스크레이핑을 위한 내용으로 넘어간다. 주피터 노트북을 설치하는 것부터 스크레이핑에 필요한 라이브러리, 그 라이브러리를 어떻게 코드에 적용하고 실행하면 되는 지 등등 상세하게 스텝을 나누어 진행된다. 심지어 코드 작성에 필요한 정규 표현식 등도 잘 정리 되어 있다.(감동)

​

여기에 더 나아가 웹 크롤링을 위한 스크립트는 어떤 패턴을 가지고 있는지, 그 패턴에서 어떻게 점점 확장해나갈 수 있는지를 말한다. 초반에는 간단한 예제로 크롤링의 기본 원리를 익히고, 이후에는 점점 더 실전적인 내용으로 나아가는 것이다. 책은 당연히 여기에서 끝나지 않는다. 파이썬 웹 크롤링 프레임 워크 중 '스크레이피(scrapy)'를 활용하여 스크레이퍼 작성하는 방법을 가르쳐준다.

이외에도 ‘고급 스크레이핑’이라는 이름으로 판다스를 활용해 데이터를 정리하는 방법, API를 이용한 크롤링 등 더 다양한 내용이 담겨 있다. 웹 개발 경험이 있는 사람들에게도 충분히 흥미로운 내용들이 많기 때문에 크롤링에 관심 있는 개발자라면 한 번쯤 읽어볼 만하다.

​

하지만 무엇보다 이 책을 특히 추천하고 싶은 독자는 파이썬을 어느정도 배웠으나 어떻게 활용해야할 지 감이 오지 않는 독자, 자신만의 웹 크롤러를 차근차근 만들어 가고 싶은 크롤링 입문자에게 이 책을 추천한다. 책을 읽다보면 단 몇 줄의 URL과 내가 쓴 코드만으로 데이터를 쌓는 짜릿한 경험을 통해, 내이를 어떻게 만들고 어떻게 활용할 수 있을지 자연스럽게 감을 잡게 될 것이다.