[상품 협찬]데이터 수집에 대한 새로운 시각을 가지게 되었다

mmxsk***

2019-06-07

파이썬으로 웹 크롤러 만들기(2판) : 초간단 나만의 웹 크롤러로 원하는 데이터를 가져오는 방법

웹에 존재한다면 그것이 어떤 형태이든 데이터로 추출할 수 있다. 필요한 무기는 이 책과 파이썬뿐. BeautifulSoup, 셀레니움, 테서랙트 등 강력한 파이썬 라이브러리 사용법과 함께 API, 인증, 이미지 및 텍스트 인식, 로그인 처리 등 웹 크롤링의 기초부터 고급 기법까지 종합적으로 다루는 유일한 책. 실제 업무와 생활에 적용할 수 있는 예제가 가득하다. 2판은 예제를 추가 및 업데이트했고 모던 웹에서 거의 모든 종류의 데이터를 가져오는 방법을

저자 : 라이언 미첼
번역 : 한선용
출간 : 2019-03-29

상세보기

한빛미디어에서 '상품 협찬'을 받아 후기를 작성하였습니다.

[책 표지]

책 표지에 나오는 동물이 무엇인지 매우 궁금했었다. 책을 다 읽고 표지 다음장을 넘기면서 그 궁금증을 해소할 수 있었다.
표지의 주인공은 '사바나천산갑'이라는 포유류 동물이라고 한다. 멸종 위기에 처해 있다고 한다.
국내 서적에서는 찾아보기 힘든 독특한 표지 디자인이다.

1. 이 책을 읽기전에
오래전부터 난 '웹 스크랩'이 아니라 '파싱'이라는 용어에 더 익숙했다.
수년전 내가 활동하는 IT카페에서도 '파싱'에 관한 질문이 간혹 올라오는게 전부였다.

요즘은 분위기는 반전되어 광범위하게 활용되고 있는 것 같다.
정보처리 신기술은 대체로 그 기술과 분위기가 무르익을 때까지 다소 시일이 걸리는 듯 하다.

수년전만 해도 웹사이트에서 내가 원하는 데이터를 쉽게 가져온다는 것은
'신기하네. 이런 방법도 사용하는구나'
그러나 딱 거기까지였다. 나는 더이상 목적이나 바라는 무엇을 찾지 못했고 중단됐었다.

2.파이썬에 대한 나의 선수 지식은?
나는 파이썬으로 프로젝트를 진행해 본적이 없다.
닷넷 계열 언어로만 쭈욱 프로젝트를 진행해 왔기 때문이다.
이웃 회사에서 파이썬으로 프로젝트를 해 달라는 요청이 있었지만 다른 선행 프로젝트로 인해 진행하지 못했다.
그리고 파이썬은 내 기억속에서 사라졌다.
파이썬이 아닌 다른 언어로 몇번 시험 코드를 만들어 돌려 보곤 한게 전부였다.

그리고 "Web Scraping with Python"이라는 책에 내 수중에 들어왔다.

3. 책을 읽으려면 파이썬 문법을 몰라도 될까?
몰라도 되고 알면 더 좋다.
이 말은 파이썬이라는 언어에 대해서 어느정도 알고 있으면 더 재미있을 것이라 생각된다.

하지만 파이썬을 몰라도 책에 나와 있는 예제를 입력하고 실행보면서 문법을 익혀도 크게 문제가 없을 것 같다.
책에 나오는 예제 하나 하나는 쓸모없는 예제는 단 하나도 없다. 전부 유용하고 실무에 바로 적용 가능한 수준으로 고급스럽다.
나는 이 책을 더 재미있게 보기 위해서 아니 파이썬이라는 언어의 매력을 보게 해주었기에 파이썬에 푹 빠지게 만들었다.

4.예제 코드를 실행해 보면서
책 도입부에 "BeautifulSoup"라는 용어가 등장한다.

생전 처음 접해보는 용어다.

파이썬에서 사용하는 웹 탐색용 라이브러리라고 정의되어 있다.
파이썬이라는 언어의 간결함과 엄청나게 많은 라이브러리에 한번 더 놀라고 있다.

파이썬을 가벼이 볼 게 아니구나. 새삼 깨닫고 있다.

import sqlite3
conn = sqlite3.connect('testdb.sqlite')

단 두줄의 코드로 SQLite에 연결하고 있다. 정말 놀랍다.

그래서 난 여러 파이썬 책을 도서관에서 대출해서 이 책과 같이 보았다. 소장하고픈 책도 한권 주문했다.

책장을 한장 두장 넘기면서 그 다음은 무엇이 나올까? 어떤 이야기를 할까?
정말 흥미 진진하다. IT기술서적은 대부분 딱딱하고 재미없다.
그러나 이 책은 처음부터 끝까지 재미있다. 꼭 한번 보시는 걸 추천드린다.

2017년도인지 정확히 기억이 안난다. 언제 구입한지는 몰라도 책장을 둘러보니 파이썬 책이 하나 있었다.
보물을 찾은 듯한 기분이랄까 왠지 새롭다.

5. 무수히 많은 데이터를 어떻게 정리해야 할지 새로운 아이디어를 떠오르게 해주었다.
무수히 많은 정보가 웹사이트에 공개되어 있고 독자를 기다리고 있지만 막상 내가 필요로하는 유용한 정보를 검색하고 저장하고 내 것으로 만들기란 쉽지 않다.
그리고 한가지 중요한게 더 있다. 저작자의 권리 침해없이 다른 사람에게 불편함이 없도록 합법적으로 정보를 내 데이터베이스에 저장하는 것이다.

친절하게도 이 책에서는 스크랩한 정보를 데이터베이스로 저장하는 방법도 알려 주고 있다.
MySQL 설치부터 파이썬에서 사용하는 방법도 안내해 준다.
나는 기 설치된 MariaDB가 있어 별도로 MySQL을 설치하지 않았다. 서로 비슷한 DB이기에 그대로 사용할 수 있었다.

6. 마무리 하면서
저자의 지식의 깊이가 남다르다. 다른 사람은 어떨지 모르지만 내 생각은 그렇다.
여러 저자의 책을 경험했기에 '라이언 미첼'의 지식 깊이는 조금은 남다른 것 같다.
풍부한 경험에서 우러나오는 지식의 깊이를 가늠해 볼 수 있었다.

나는 이 책을 통해 정보(데이터)에 대한 새로운 시각을 가지게 되었고 새로운 뭔가를 준비하고 있다.
저자와 한빛미디어에 감사의 인사를 드리며 리뷰를 마무리 하고자 한다.