한빛미디어

O'REILLY

   트랜스포머를 활용한 자연어 처리

       루이스 턴스톨, 레안드로 폰 베라, 토마스 울프 지음

       박해선 옮김,

이 책은 머신러닝 계의 혁신이라고 하는 "트랜스포머 모델" 에 대해 소개하고 설명하는 책 입니다.

트랜스포머 모델은 2017년 구글이 발표한 논문인 "Attention is all you need"에서 나온 모델로 기존의 seq2seq의

구조 인코더-디코더를 따르면서, 어텐션 (Attention)만으로 구현한 모델 입니다.

트랜스포머 아키텍처는 인코더-디코더를 따르면서도 순환 신경망 (RNN) 보다 우수한 성능을 보여는 모델 입니다.

이 책은 머신러닝 기초 책이 아니기 때문에 기반 지식이 없다면 바로 학습 하기에는 무리가 있습니다.

# 대상 독자

책에서도 제시한 것처럼 이 책은 머신러닝 입문서가 아닙니다.

  - 파이썬 프로그래밍에 능숙

  - 딥러닝 프레임워크 (파이토치, 텐서플로)의 기본 

딥러닝 프레임워크의 기본을 알아야 책을 보면서 이해할 수 있습니다.

책에서는, 아래의 책들을 통해서 먼저 선행 학습 후 이 책을 학습하기를 권장하고 있습니다.

# 책 구성

이 책은 총 11장으로 구성되어 있습니다.

1장, 트랜스포머 소개

  이 장에서는 인코더-디코 프레임워크 소개 및 장단점, 어텐션 메커니즘에 대한 소개 및 트랜스포 모델에서의 셀프 어텐션에 의한 변화, NLP 전이 학습에서 전통적인 지도 학습과 전이학습의 비교, 허깅페이스 트랜스포머의 등장 배경, 트랜스포머 어플리케이션 둘러보기에서 트랜스포머 예제를 통한 해석하고 그 결과를 생성하는 과정 등에 대해 학습 할 수 있습니다.

2장, 텍스트 분류

  이 장에서는 NLP에서 일반적인 작업인 텍스트 분류 예제를 통하여 허깅페이스 생태계의 핵심 라이브러리인 데이터셋, 토크나이저, 트랜스포머 사용해 보면서 트랜스포머가 동작 하는 것을 학습 할 수 있습니다.

3장, 트랜스포머 파헤치기

  이 장에서는 2장에서 예제를 통하여 맛보았던 트랜스포머에 대해 좀더 상세하게 트랜스포머 아키텍처를 깊게 학습 할 수 있습니다.

4장, 다중 언어 개체명 인식

  이 장에서는 다국어 텍스트에서 개체명을 인식하는 방법에 대해 소개하고 그 방법을 학습 할 수 있습니다.

5장, 텍스트 생성

  이 장에서는 텍스트 생성하는 트랜스포머 모델, 디코딩 전략과 측정 지표 소개 하고 있습니다.

6장, 요약

  이 장에서는 텍스트 요약 이라는 seq2seq 를 살펴 보고, 이 작업에 사용되는 측정 지표를 학습 할 수 있습니다.

7장, 질문 답변

  이 장에서는 QA의 두 가지 방법 "추출적 QA"와 "생산적 QA" 와 두 가지 검색 알고리즘 "BM25"와 "DPR"에 대해서 학습 할 수 있습니다.

8장, 효율적인 트랜스포머 구축

  이 장에서는 예측 속도를 높이고, 트랜스포머 모델의 메모리 사용량을 줄이는 기술 네 가지 "지식 정제", "양자화", "가지치기", "그래프 최적화"에 대해서 학습 할 수 있습니다.

9장, 레이블 부족 문제 다루기

  이 장에서는 레이블이 전혀 없거나 조금만 있는 경우, 모델을 만드는 방법을 학습 할 수 있습니다.

10장, 대규모 데이터셋 수집하기

  이 장에서는 충분한 데이터와 컴퓨팅 자원이 있을 때, 자신만의 모델을 밑바닥부터  사전 훈련하는 방법에 대해 학습 할 수 있습니다.

11장, 향후 방향

  이 장에서는 모델들이 당면한 과제와 이를 극복하기 위한 연구활 동 동향을 알 수 있습니다.

# 결론,

이 책을 보기전 책에서 선행 학습 하면 좋을 것 같은 목록의 내용들을 학습 후 보는 것이 좋습니다.

기반 지식 없이는 이해하기 어려운 책 입니다.

이론과 설명은 어려우나, 실습 위주로 책이 구성되어 있기에 따라하며 학습 하다 보면 조금씩 알아 갈 수 있을 것 같습니다.

트랜스포머를 이용한 자연어 처리에 대해서는 깊이 있게 다루고 있어서 실무에 많은 도움이 될 것 같습니다.