한빛미디어

이 책은 머신러닝으로 자연어 처리하고자 한다면 가장 탁월한 책이자 필독서이다.

최근의 핫한 OpenAI의 ChatGTP를 이해할 수 있으며, 자연어 관련 트랜스포머 모델을 총망라하여 알 수 있었다.

BERT, XLM, RoBERTa, T5, BART, GPT, GPT-2, GPT-3, GPT-Noe, ...

그리고 허깅페이스의 트랜스포머스를 사용하여 몇 줄의 코드로 너무나 쉽게 구현할 수 있다는 것이 믿기지 않을 정도이다.

책의 구성은 트랜스포머 소개(1장)로 시작하여 텍스트 분류(2장), 트랜스포머 아키텍처(3장), 개체명 인식(4장),

텍스트 생성(5장), 텍스트 요약(6장), 질문 답변(7장) 등의 머신 러닝 분야에서 자연어 처리로 할 수 있는 응용 분야를 설명하고 있으며, 8장에서는 효율적인 트랜스포머 구축 방안과 레이블이 부족할 경우 대처 방안(9장), 

밑바닥부터 모델을 훈련하는 대규모 데이터셋 수집하기(10장), 마지막으로 향후 트랜스포머 발전 방향까지 다루고 있다.

각 장은 해당 주제에 대한 어려운 점이나 고려할 점을 먼저 설명하고, 해결 방안을 제시한다. 

그리고, 다양한 해결 방안은 예제를 통해 실습할 수 있으며, 소스 코드도 상세히 설명하고 있다. 

특히 각각의 해결 방안(모델)에 대해서도 장단점을 설명하고 성능을 통하여 결과를 보여주며, 결론으로 마무리한다.

다만, 저자도 언급하지만 머신러닝 입문서는 아니다.

파이토치나 텐서플로를 알고 있어야 하며, 특히 예제는 파이썬 중급이상이어야 한다.

그럼에도 NLP 분야의 트랜스포머 모델을 빠짐없이 다루고 있으며, 관련된 개념도 비교적 자세하게 설명한다.

구글 BERT의 정석(한빛미디어, 2021.11)이 이론서라면, 이 책은 실습 위주로 구성되어 있다. 실습 위주의 이론도 매우 풍부하다.

개인적으로는 3.4 트랜스포머 유니버스에서 트랜스포머 모델의 설명이 매우 좋았으며, 실습 중간마다 미세튜닝 꿀팁들이 인상깊었다. 

특히 실습에서 사용하는 라이브러리에 대한 설명이 감동이다.

그리고 궁금했던 자연어 처리 관련(텍스트 분류, 개체명 인식, 텍스트 생성, 요약, 질문 답변) 처리 방법론과 대용량 처리 극복 방법, 경량 모델 구축 방법도 이해할 수 있어서 좋았다.

또한 책 중간마다 삽입되는 컬러풀한 프로세싱 그림들 덕분에 다른 책들보다 이해하기 수월했다.

간혹 보이는 수식은 아직도 적응하기 힘들지만, ㅠㅠ

이 책을 읽고 난 이후 트랜스포머의 능력을 다시 깨닫게 되었으며, 

빠른 시간내에 애플리케이션을 만들고 싶게 만든 소중한 책이어서 감사하다는 말을 전하고 싶다.

품질 평가하기 - 트랜스포머 또한 은탄환이 아니다.

 

평가 지표가 나쁘면 모델의 성능 저하를 눈치채지 못하고, 평가 지표가 비즈니스 목표에 맞지 않으면 어떤 가치도 창출하지 못합니다.