한빛미디어

인공지능 기술에 대한 접근성이 낮아지면서, 그 기술을 활용할 수 있는 도메인들이 많이 늘어났습니다.

대충 어느 분야에서 일하는지/관심을 갖는지에 따라 사용할 수 있는 부분이 다르긴 하지만, 전통적으로는... 신호처리나 영상 부분 혹은 전처리 과정을 통해서, 구조적 데이터로 정리된 데이터의 분류/군집/회귀(예측) 등을 위해 사용되고 있죠.

​

이 책은, 그 중, 자연어 문서를 처리하기 위한 방법에 대해 이야기하고 있습니다.

​

사실, 알파고가 나오기 전까지, 바둑은 컴퓨터가 사람을 이길 수 없다고 했었지만, (게임트리의 복잡성 때문에, 컴퓨터가 수읽기를 제대로 할 수 없다는 것이 당시 전문가들의 의견이었죠), 실제로 해 보니까 사람을 뛰어넘었죠.

​

이전 심볼릭 방법을 통해, 명목지(Explicit Knowledge)를 만드는 것이 목적이었던 클래식 AI를 하던 사람들이 말하던, "사람이 잘 할 수 있는 일" vs "기계가 잘 할 수 있는 일" 의 개념이 무너지기 시작한 것이죠.

​자연어 처리의 복잡성 때문에, 기계가 하기에는 어렵다고 생각했던 일, 그래서, 언어학자의 지식을 어떻게 AI로 만들어야 할 것인지에 대한 문제가, 어느 순간, 그냥 자연어를 데이터로 처리해버려도 동작해버리는 결과가 나와버린 것이죠.

 

자연어 처리 능력의 놀라움은 사실, 옛날부터 인공지능을 해 왔던 사람들에게나 놀라운 일이지, 2010년 이후에 AI 기술을 접한 사람들에게는, 당연한 일인지도 모르겠습니다.

 

각설하고,

​

이 책은 텍스트를 처리하기 위한 기술을 13개의 챕터를 통해 알려줍니다.

​

챕터 1에서는 가장 기본적인 텍스트 분석의 배경인, 단어를 찾고, 빈도수를 재고, 단어들 사이의 관계를 계산하는 방법을 소개합니다.

챕터 2에서는 트위터 데이터를 가져오기 위한 API 사용법을 소개합니다.

챕터 3에서는 웹스파이더를 통해 공개된 데이터를 자동으로 가져오는 방법을 이야기합니다.

챕터 4에서는 팬더스를 이용해, 텍스트 데이터에서 단어를 뽑아내는 방법, 그리고 단어를 구분하기 위한 토큰화 방법과 관련된 이야기들 (불용어제거, 형태소, 어근 찾기, 개체명 찾기)에 대해서 이야기를 합니다.

챕터 5에서는 지금까지 본 내용을 바탕으로 간단한 실습을 해 봅니다. 이 실습이라는 것은 실제 스크레치 빌딩을 통한 실습이 아니라, 알려진 텍스트 라이브러리를 사용하는 부분입니다.

챕터 6과 7에서는 텍스트를 분류하는 방법을,

챕터 8에서는 토픽맵을 이용한 군집화 방법을,

챕터 9에서는 텍스트를 요약하는 방법을,

챕터 10에서는 최신(이라고 하기에는 이미 그 시작은 한참된 기술이죠) 기술인 단어 임베딩 기법을

챕터 11에서는 감성 분석하는 방법을

챕터 12에서는 지식그래프 그리는 방법을

챕터 13에서는 실전에서 텍스트를 분석할 때 주의해야 할 점들을

 

이야기하고 있습니다.

​

확실히, 텍스트 분석을 하는데 필요한 주요 텍스트 분석의 주제들과 해당 주제를 해결하기 위해 잘 알려진 라이브러리들을 사용하는 방법을 말해주고 있는 책이었습니다.

​

하지만.. 라이브러리 사용에 대한 부분에 좀 더 힘을 주고 있어서, 실제, 그 라이브러리의 함수가 어떻게 문제를 해결하고, 함수를 호출할 때 사용하는 파라메터의 종류와 각 종류의 의미에 대한 설명.. 즉 이론에 대한 설명 부분은 부족했습니다.

​

"어떻게 하는지는 알려주지만, 왜 그렇게 해야 하는지는 나중에 직접 찾아봐라"

​

라고 말하는 책이었습니다. 하지만, 원래 텍스트 분석이라는 분야가 너무 방대하기 때문에, 500페이지도 안되는 책 한권에 더 많은 것을 기대하는 것 자체가 무리긴 하죠. 현실적으로, 텍스트분석에 대한 입문서로는 최고의 책이 아닐가 싶었습니다.

​

하지만, 더 큰 문제는, 이 책은 영어로 된 텍스트를 기준으로 한다는 거죠. 그리고 한글과 영어는 다른 체계라는 것입니다. 이 책의 내용을 따라할 때, 텍스트의 언어가 바뀌면, 기대하는 결과가 나오지 않게 됩니다. 한글 처리를 하기 위해서는 다른 방법을 사용해야 한다는 점은 명심하고 해야 할 것입니다.

​

한글 자연어 처리를 원한다면, 이 책 말고 다른 책을 보시는 것이 맞지만, 텍스트 분석에 대한 프랙티컬 수준에서의 입문서를 찾는다면, 이 책만한 것이 없다고 할 수 있습니다.

​

-------------

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."

-------------

​​