한빛미디어

트랜스포머 아키텍처

• 2017년 Google Brain 팀에서 발표한 딥러닝 모델이다.
• 학계와 산업에서 다양한 자연처 처리 작업을 다루는데 표준이 되었다.
• LLM은 대부분 트랜스포머 아키텍처를 기반으로 한 AI 모델로, 간단한 텍스트 분류부터 텍스트 생성까지 다양한 언어 관련 작업을 높은 정확도와 유창하고 유려하게 수행할 수 있다.

LLM이란

• LLM에 대한 정의를 설명하기 위해 다음과 같은 특징들을 설명하고 있다.
  • 시퀀스 투 시퀀스
    • 인코더
    • 디코더
  • 자기회귀 모델, 자동 인코딩 모델, 자기회귀와 자동 인코딩의 조합
  • 사전학습 (pre-training), 전이학습 (Transfer Learning), 파인튜닝 (Fine-Tuning)
  • 정렬 + RLHF 등…
• BERT, GPT, T5와 같은 언어 모델부터 Alignment, RLHF까지 고전적인 방법부터 최신 기술까지 폭넓게 다루고 있다. 어느 정도 경험이 있는 사람들은 알고 있던 내용을 다시 한 번 정리할 수 있고, 처음 접하는 사람들도 빠르게 트렌드를 파악할 수 있을 것이다.

ChatGPT를 이용한 프롬프트 엔지니어링

LLM에게서 원하는 출력을 이끌어내기 위해서는 효과적인 프롬프트가 중요하다.

• 3장에서는 이에 대한 퓨샷 학습, JSON 형태로의 출력 구조화, 페르소나 등에 대해 설명한다.
• 5장에서는 프롬프트를 향상시키고, 성능을 최적화하며, LLM 기반 어플리케이션의 보안을 강화하는 방법에 대해 설명한다.

따라서 자연스럽게 유효성 검사를 위해 NLI 파이프라인을 설명하는 걸로 이어진다.

위 두 챕터를 읽으면서 저자가 LLM 개발을 하면서 겪은 시행착오와 이를 해결해 나가는 과정을 엿볼 수 있었다. 파인 튜닝뿐만 아니라 프롬프트 및 이에 따른 보안도 중요하다는 것을 깨달았다.

고급 LLM

다른 책들과는 달리, 일반적인 파인 튜닝뿐만 아니라 모델 동결, 기울기 누적, 의미론적 다운 샘플링 등 다양한 기법들을 소개하고 설명한다. LaTex 방정식 생성 예제를 통해 이를 활용하는 방법과, SWAYER를 통해 작은 파라미터의 LLM으로도 좋은 결과를 얻는 방법을 보여준다. 또 다소 어려운 내용인 RLHF에 대해서도 상세하게 설명하고 있어 유익하다.

더불어, 프로덕션 환경에서 추론 파이프라인을 최적화하기 위한 ONNX, 양자화, 가지치기, 지식 증류 등 여러 기법들도 함께 소개한다.

마치며

전반적으로 자연어 처리 트렌드부터 RLHF와 같은 고급 기술까지 LLM에 대해 폭넓게 다루고 있다. 다만, BERT, T5, GPT-2와 같은 모델 대신 LLaMA와 같은 친숙한 모델을 활용했으면 더 좋았을 것 같다. 또 추론 속도 최적화 외에도 훈련 시에 적용할 수 있는 PEFT 기법도 소개했다면 좋았을 것이다. 하지만 프롬프트 엔지니어링과 강화학습에 대한 내용은 적절한 깊이와 난이도로 설명되어 있어 좋았다. 이 책은 LLM 개발자 뿐만 아니라 자연어 처리에 관심 있는 사람들에게도 추천할 만하다.

"한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다."