한빛미디어

ChatGPT가 등장한 이후에 기존의 Rule-based Pattern Matching기반의 Context Analysis를 기반으로 했던 자연어 처리가 n-gram으로 말미암아 확률기반적 방법론으로 전향했던 것 보다 엄청난 파급효과를 불러 일으키게 되었다. 이는 2017년 등장한 논문 Attention is All You Need라는 논문에서 파생된 GPT라는 언어모델과 RLHF라는 기술의 조합으로 탄생한 ChatGPT 서비스의 파급력이 아닐까 하는 생각이 든다.

​

트랜스포머를 이용한 자연어 처리라는 책을 읽게 된 연유가 트랜스포머라는 Neural Net 아키텍처 기반으로 파생된 다양한 언어모델에 대한 기본적인 이해와 다시금 2017년 이후 언어 모델의 발전 방향을 살펴보고자 읽게 되었다.

​

트랜스포머 인코더부에서 파생한 BERT 계열의 모델들의 계보도를 보면 텍스트 분류, 개체명 인식, 질문 답변에 특화된 언어 모델들을 볼 수 있다.

​

트랜스포머 디코더부에서 파생한 GPT계열의 모델들은 생성 모델로서 특히 문장에서 다음 단어를 예측하는데 뛰어나기 때문에 Large-scale Language Model 대용량의 데이터를 학습한 대용량 언어 모델을 통해 학습하지 않은 unseen-data를 입력값으로 받아도 답변이 생성이 가능한 Lerning 기법들이 semantic information기반으로 출현하게 되었다 바로 Zero-Shot Learning과 Few-Shot Learning과 같은 prompt방식의 기법들의 탄생이다.

​

이 책을 근간으로 다양한 학습을 하게 되면서 더욱 폭넓은 이해를 할 수 있게 되었다.

​

트랜스포머 인코더-디코더 유형에서는 NLU와 NLG분야의 새로운 어플리케이션을 만들 수 있는 언어모델이 탄생하였다.

​

새로운 기술이 나타날 때 마다 모두들 기술의 본질을 찾아 학습하는 것이야 말로 기반을 다지고 그 기반 위에서 자신의 영역을 확장할 수 있는 방안이 아닐까 하는 생각이 든다.

위 기술서에서 독자들이 길을 찾을 수 있기를 희망한다.

​

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."