한빛미디어

이 책을 읽어야 하는 이유

작년부터 세상을 바꿀 인공지능 모델들이 소개되기 시작했다.

Stable-diffusion 모델은 인공지능을 누구나 사용할 수 있는 것으로 대중에게 인식시키는데 큰 기여를 했다.

모델을 그냥 공개해서 누구나 인공지능을 사용해서 그림을 그려볼 수 있게 되었고, 여러 온라인 커뮤니티들에서는 이 모델의 사용법을 공유해가며 사용법을 발전시켜나가고 있다.

올해는 ChatGPT가 유명해졌다. 그림이야 모두가 그리고 싶어하는건 아니니까 한정된 관심에 그쳤었는데,

ChatGPT가 나온 이후로는 정말 많은 사람들이 인공지능을 자유롭게 사용하게 된 것 같다.

더군다나 Stable-diffusion은 어쨌거나 자신의 GPU 를 사용하던가 해서, 세팅하는 과정까지는 필요한데 보통,

ChatGPT는 그냥 대화형 인터페이스를 공개해서 모두가 쓸 수 있게 되었으니 더 파급력이 큰 것 같아보인다.

Transformer 아키텍쳐는 용도는 다르지만 Stable-diffusion 과 ChatGPT에 모두 사용된 것 같다.

이 책 “트랜스포머를 활용한 자연어 처리“은 엄청난 파급력을 끼치고 있는 ChatGPT가 어떤 원리와 아키텍쳐를 기반으로 했는지 알고 싶은 사람이라면 먼저 잡고 싶은 책이지 않을까 싶다.

누가 읽어야 하는가

바로 본론으로 들어가는 책이다.

많은 사람들이 ChatGPT를 궁금해 할 수는 있지만 거기 들어간 원리들과 동작 방식들은 당연히 많은 단계들을 거쳐야만 이해할 수 있을 것 같다.

당연히 입문자가 바로 읽을 수 있는 책은 아니고, 트랜스포머 그 자체에 대해 이해가 필요한 데이터 사이언티스트, 머신러닝 엔지니어.. 를 대상으로 책을 썼다고 되어있다.

딥러닝 그 자체에 대한 이해가 있고, 파이썬을 다루는 데도 능숙한 사람들이 읽어야 제대로 책을 읽을 수 있을 것 같다.

파이토치, 텐서플로를 다뤄보았고, GPU를 사용해 트레이닝을 해본 사람들이어야 한다.

책의 특징

• 일단 난이도가 있는 업무 관련자, 실무자들을 위한 책이라서 바로 따라가면서 써볼 수 있게 구성이 되어있다.
• 시각화 자료가 잘 되어있다. 물론 실무자 레벨이기 때문에 다들 경험이 있어서 머릿 속으로 잘 추상화가 잘 될 수는 있지만 그래도 그래픽 자료가 잘 되어있는 건 역시 큰 장점이다.

• 어떤 개념들은 유래와 비유가 중요할 수 있다. 그것이 머릿속에서 구조화하기 쉬운 방법이기 때문인지도 모른다. 그런 것들도 놓치지 않는 것 같아보인다.

• 저자들은 전문가들이라 우리가 겪을만한 어려운 점들이나 나가고 싶은 방향을 이미 잘 알고 있다. 친절한 어투로 알려준다.

책의 구성

• 1장은 트랜스포머 그 자체에 대한 소개로 시작한다. 이 책을 읽는 사람이라면 당연히 huggingface에 익숙하겠지만, huggingface의 library를 사용해서 하나하나 사용해보며 이해할 수 있도록 시작해준다.
• 2장에서는 트윗의 감정을 분류하는 트랜스포머 모델의 훈련법을 배운다.
• 3장에서는 트랜스포머 아키텍쳐를 깊게 파고 든다. 만약 트랜스포머 자체의 기본 원리에 관심이 있어서 이 책을 잡았다면 이 장으로 바로 넘어가도 될 것 같다.
• 4장. 만약 다루는 것이 영어 말뭉치가 아니라면? 100개 언어에서 사전 훈련된 XLM-R 로 다국어에 대한 작업을 수행해볼 수 있다.
• 5장. 텍스트 생성에 대한 개략적인 내용을 소개하고 있다. ChatGPT는 어떻게 텍스트를 생성하나요?
• 6장. 텍스트 요약. 생성된 텍스트의 품질은 어떻게 평가해야 할까? 모델의 아웃풋을 평가하는 전통적인 지표들로는 어려울텐데 이럴 때 쓸 수 있는 BLEU, ROUGE에 대해서도 함께 설명한다.
• 7장. 질문 답변 Question Answering (이하 QA). QA의 두 가지 방법인 추출적 QA와 생성적 QA에 대해서 설명한다. 그리고 두 가지 검색 알고리즘 BM25와 DPR 에 대해서 설명한다.
• 그 다음 차례로 실무적으로 필요한 내용들을 소개하고 있다. 직접 트랜스포머를 구착할 때 어떻게 효율적으로 할 것인가
• 또한 직접 수행할 때 만나게 될 문제 : 레이블 부족 문제는 어떻게 다룰 것인가, 어떻게 대규모 데이터셋을 수집할 것인가에 대한 내용을 다룬다.