LLM 엔지니어링 (LLM Engineer's Handbook)

  RAG, 파인튜닝, LLMOps로 완성하는 실무 중심의 LLM 애플리케이션 개발

  폴 이우수틴, 막심 라본 지음

  조우철 옮김

LLM 관련 따끈따끈한 신작 입니다.

### 대상 독자 ###

책에서는 관심있는 누구나를 그 대상으로 하고 있지만,

"소프트웨어 개발에 대한 기본 지식이 있다면 좀 더 수월 하지만," 이 맞겠죠~
 

왜냐 하면, "학습을 위한 준비" 과정에서 "최소한 소프트웨어 개발 원칙과 실무에 대한 기본적인 이해가 필요하다." 라는 문구가 있기 때문이져

### 코드 예제 ###

https://github.com/PacktPublishing/LLM-Engineers-Handbook

GitHub - PacktPublishing/LLM-Engineers-Handbook: The LLM's practical guide: From the fundamentals to deploying advanced LLM and

The LLM's practical guide: From the fundamentals to deploying advanced LLM and RAG apps to AWS using LLMOps best practices - PacktPublishing/LLM-Engineers-Handbook

github.com

아래 링크는 역자가 원본 리포지터리를 포크한 후 실행한 코드와 발생한 오류를 해결한 결과를 확인 할 수 있는 URL 입니다.

https://github.com/inrap8206/LLM-Engineers-Handbook

GitHub - inrap8206/LLM-Engineers-Handbook: The LLM's practical guide: From the fundamentals to deploying advanced LLM and RAG ap

The LLM's practical guide: From the fundamentals to deploying advanced LLM and RAG apps to AWS using LLMOps best practices - inrap8206/LLM-Engineers-Handbook

github.com

### 책 구성 ###

이 책은 총 11개의 장에 하나의 부록으로 구성되어 있습니다.

LLM Twin 이라는 LLM 애플리케이션 개발 프로젝트를 설계 부터 모델 개발, 구축 및 배포까지를 예제를 기반으로 학습하고 실습 해보면서 LLM 서비스 개발의 전체 과정을 학습할 수 있도록 구성되어 있습니다.

1장, LLM Twin 개념과 아키텍처 소개 

      LLM Twin 프로젝트 소개 및 제품 기획 아키텍처 설계에 대해서 다룹니다.

2장, 도구 및 설치

      LLM Twin 프로젝트를 구현하고 배포하는데 사용되는 도구를 소개 합니다.

      파이썬, MLOps와 LLMOps 도구, 데이터 저장을 위한 데이터베이스 (MongoDB, Qdrant), AWS 사용 준비

3장, 데이터 엔지니어링

      데이터 엔지니어링에서 데이터 수집에 대해서 학습합니다.

       LLM Twin의 데이터 수집 파이프라인 설계

       LLM Twin의 데이터 수집 파이프라인

       원시데이터를 데이터 웨어하우스로 수집   

4장, RAG 특성 파이프라인

       RAG 의 기본 개념과 작동 원리를 중심으로 이론적 배경을 학습합니다.

        RAG 이해

        고급 RAG 개요

        LLM Twin의 RAG 특성 파이프라인 아키텍처

        LLM Twin의 RAG 특성 파이프라인 구현

5장, 지도 학습 파인튜닝 (SFT)

        SFT가 무엇인가, 그리고 필요한 이유에 대해서 알고 

          지시문 데이터셋 생성

          SFT 기술

          파인튜닝 구현

        에 대해서 학습합니다.

6장, 선호도 정렬을 활용한 파인튜닝

        AI 시스템을 인간의 선호도에 맞추기 위한 더 많은 기술들이 개발 되었고, 이를 선호도 정렬이라는 포괄적인 용어로 묶어서 부른다고 합니다.

        이런 "선호도 정렬" 을 활용한 파인 튜닝에 대해 필요한 이유와 알고리즘, 그리고 알고리즘에 필요한 데이터 유형에 대해 학습합니다.

          선호도 데이터셋 이해

          선호도 데이터셋 생성

          직접 선호 최적화 (DPO)

          DPO를 활용한 모델 정렬 실습

7장, LLM 평가

        LLM 평가 방법을 이해하고, 다양한 기법을 사용해 모델과 RAG 시스템을 평가하는 방법을 학습합니다.

           모델 평가

           RAG 평가

           TwinLlama-3.1-8B 평가

8장, 추론 최적화

        추측 디코딩, 모델 병렬처리, 가중치 양자화를 살펴보고, 추론 엔진을 이해하고 추론 최적화 관점에서 특징들을 학습합니다.

           모델 최적화 전략

           모델 병렬 처리

           모델 양자화

9장, RAG 추론 파이프라인

         RAG 시스템에서 검색 과정에 대해서 학습합니다.

           LLM Twin의 RAG 추론 파이프라인 이해

           LLM Twin의 고급 RAG 기법 탐구

           LLM Twin의 RAG 추론 파이프라인 구현

10장, 추론 파이프라인 배포

         LLM 애플리케이션의 추론 파이프라인을 배포하는 방법을 학습합니다.

           배포 유형 선택 기준

           추론 배포 유형 이해

           모델 서빙에서 모놀리식 아키텍처와 마이크로서비스 아키텍처 비교

           LLM Twin 추론 파이프라인 배포 전략 탐구

           LLM Twin 서비스 배포

           사용량 급증에 대응하기 위한 오토스케일링 기능

11장, MLOps와 LLMOps

         LLMOps 의 등장 배경 및 LLM Twin 파이프라인을 클라우드에 배포, LLMOps를 LLM Twin에 적용하는 방법을 학습합니다.

### 책 내용 구성 ###

처음 접하는 학습자들도 쉽게 접근하고 이해를 돕기 위해 그림 표 그리고 예제 코드들을 적절하게 구성 및 배치 하였고, 각 장의 마지막에 "요약" 섹션을 두어 학습한 내용을 다시 한번 상기 시킬 수 있도록 구성되어 있습니다.

그리고 각 장 및 섹션 마다 학습 하고자하는 방향 및 학습 목표 그리고 학습해야 하는 이유에 대해서 먼저 정리 해줌으로써 좀 더 체계 적으로 각 장을 학습 할 수 있도록 지표를 마련해 주고 있습니다.

아래는 4장의 내용들 일부를 캡처한 것입니다.

*** 캡처 처럼 각 장에서 학습할 내용에 대해서 미리 알려 주고, 주요 내용을 목록으로 정리해 주고 있습니다.

*** 지나가도 되지만 알면 좋을 내용들에 대해서 노트 블럭으로 추가 설명을 해주고 있습니다.

### 결론 ###

확실히 LLM을 처음 접하 더라도 쉽게(?) 까지는 아니지만 어느정도 이해 할 수 있게 설명이 상세한 편이고 이해도를 높이기 위해

많은 노력이 들어간 책 입니다.

하나의 프로젝트를 만들어 가는 과정에서 학습할 수 있는 형태로 구성된 것도 실제 프로젝트에 참여하여 개발 해가는 과정을 격어 보는

형태이기에 실전 위주로 학습하는 형태를 선호 한다면 추천할 만한 책 입니다.

현재 성공적으로 대중에게 접근한 AI 인공지능은 대형 언어 모델인 LLM입니다. 각종 질의뿐만 아니라, 업무, 음악, 동영상, 프로그래밍 등 각종 분야에 맹활약을 펼치고 있죠. 최근에는 스마트폰의 핵심이 기능이 되어 가고 있고, 로봇의 수준도 단기간에 껑충 업그레이드하고 있습니다.

개발자라면, 이런 상황에 무관심할 수 없습니다. 지금은 아닐지라도 결국 언젠가는 인공지능 업무를 할 수밖에 없으니까요. 저 역시 그래서, 인공지능 관련 책이라면, 틈틈이 찾아보고 있습니다. 전에는 주로 이론 쪽을 많이 봤고, 요즘은 LLM 활용, 인공지능 실무 쪽을 중심으로 보고 있죠.

그런데 확실히 AI 활용 쪽은 이론과는 많은 차이가 있는 것을 느끼게 됩니다. 주로 책을 통해 정보를 얻고 공부를 하다 보니, AI 이론보다는 응용이나 활용이 좀 더 쉽게 느껴집니다. 물론 이것은 어디까지나 극히 제한된 조건에서 샘플 정도의 코드로 테스트하다 보니, 그렇게 느껴지는 거겠죠.

사실 다들 아시는 거처럼, 실무 개발은 단순히 프로그래밍 언어 한두 개 익혔다고 할 수 있는 게 아닙니다. 프로그래밍 언어는 가장 기초 준비물이고, UX, UI, 서버에 대한 이해, 데이터베이스, 보안, 통신, 각종 실무 또는 전자 관련 지식 등 상황에 따라 매우 많은 지식들이 필요로 합니다.

이에 폴 이우수틴, 막심 라본의 'LLM 엔지니어링'은 AI 특히 대형 언어 모델 LLM 애플리케이션 실무 개발에 필요한 다양한 지식을 다룹니다. 단순히 인공지능 활용 샘플이나 작은 예제만 보여주는 책이 아닙니다. LLM 개발 시작부터 도구 설치, 배포, 테스트까지 모든 과정을 잘 담은 실무 실전 가이드, 종합 안내서라고 할 수 있습니다.

'LLM 엔지니어링'에서는 문체를 한습하고 사용자가 직접 쓴 것처럼 글을 자동 생성해 주는 스타일전이 서비스를 하는 LLM Twin을 구축하는 과정을 통해서 LLM 애플리케이션 개발 전반을 다루게 됩니다.

3인의 소규모 팀이 저비용으로 LLM Twin을 개발하는 것을 마치 스토리텔링 하는 느낌으로 책의 내용을 전개합니다. 스케치를 하듯이 개발의 밑그림이 되는 아키텍처부터 생각합니다. 모놀리식 배치 파이프라인 아키텍처를 가볍게 알아보고, FTI 파이프라인 아키텍처로 확장해 보고, LLM Twin의 아키텍처를 그립니다.

이어 LLM Twin 구축에 필요한 pyenv, Poetry, 모델 레지스트리, 오케스트레이터 ZenML, 실험 추적 도구 Comet ML, 프롬프트 모니터링 Opik, 몽고DB, Qdrant 등의 도구를 설치하고 AWS 세이지메이커 환경을 세팅합니다.

'LLM 엔지니어링'은 11개 챕터와 1개의 APPENDIX로 구성되어 있습니다. 앞에서 말한 사전 준비 파트는 챕터 2장까지이고, 그 이후에는 보다 세부적이고 단계적으로 LLM Twin 구축에 필요한 정보들을 담고 있습니다.

검색 증강 생성 RAG는 외부 정보를 활용해 LLM의 기존 지식을 보완하여 정확도와 신뢰도를 높여줍니다. 인공지능의 엉뚱한 답변, 거짓말하는 것을 개선해 주죠. 지도 학습 튜닝 SFT 챕터에서는 전체 파인튜닝, LoRA, QLoRA 기법도 같이 배웁니다. 이걸 발전시킨 선호도 정렬, 직접 선호 최적화 DPO를 이어 학습하며, RAG 시스템으로 기준을 세워 LLM 평가도 해봅니다. DevOps, MLOps, LLMOps의 이론적 본질도 알아봅니다.

제가 아직 안 써본 프로그램들이 너무 많네요. 계속 인공지능 관련 책을 봐왔으나, 실제 AI 관련 일에 투입된 적이 없다 보니, 이런 것들을 알아 나갈 기회가 없었죠. 그러나 'LLM 엔지니어링'을 통해 이렇게 경험해 보고 배울 수 있게 됩니다. 왜 이런 프로그램을 쓰며, 장단점이 무엇인지, 비슷한 것들은 뭐가 있는지도 자세한 설명을 들을 수 있습니다.

'LLM 엔지니어링'이 달리 LLM 실무 가이드, 실전 종합 안내서가 아닙니다. 한 챕터, 한 챕터 생생한 실무 경험을 쌓을 수 있게 해줍니다. 제가 팀장 또는 팀원으로 LLM 소프트웨어를 개발하는 느낌이 들게 해줍니다. 데이터 수집에서는 도덕적, 윤리적인 사용 여부까지도 체크하고, 배포와 테스트까지 염두에 둬야 할 것들을 꼼꼼하게 알려줍니다. 진짜 실전, 실무에 도움 되는 내용들이 참 많습니다.

아울러 'LLM 엔지니어링'은 복잡한 개념, 어려운 내용도 탁월한 설명력으로 이해하기 쉽게 알려줍니다. 챕터마다 요약과 참고 문헌을 정리해 놨습니다. 책 곳곳에 등장하는 조우철 역자의 세심한 올긴 이 주석은 맥락 이해나 명확하게 해주며, 코드 예제 깃허브 리포지터리 사용 시 발생할 수 있는 오류 해결 방법까지 제공하고 있어 독자가 실습하는 과정에서 겪을 곤란함을 덜어주고 있습니다.

현재 나오고 있는 각종 인공지능 서비스를 접하다 보면, 이건 어떤 구조로 어떻게 만들었을까? 궁금했는데, 'LLM 엔지니어링'을 통해 많은 힌트를 얻을 수 있었습니다. 숲 전체를 볼 수 있게 하면서, 나무 하나하나의 차이, 가꾸는 방법도 알려주는 책입니다. 인공지능 특히 LLM 실무에 바로 써먹을 수 있는 깊이 있는 가이드가 필요한 분이라면, 'LLM 엔지니어링'이 든든한 안내자 역할을 해줄 것입니다.

한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬받아 작성된 서평입니다.

여러 가지 인공지능, LLM 책들을 가지고 있고 훑어는 봤지만 아직도 제대로 된 애플리케이션 하나 개발해 보지 못한 채 시간을 보내고 있네요... 이제는 한두 권의 책을 꽉 잡고 제대로 공부해 볼 시간을 가져야겠다는 생각으로 새로운 책 한 권을 집었습니다.

 

이번에 읽어보면서 소개할 책은 책 제목 자체가 아주 직관적인 한빛미디어의 신작 《LLM 엔지니어링》입니다. RAG, 파인튜닝 그리고 LLMOps까지 한 권으로 완성할 수 있는 꽤 많은 내용을 담고 있는 실무 중심의 마스터링 책이에요. 책도 정말 이쁩니다.

 

책 《LLM 엔지니어링》은 LLM 애플리케이션 개발을 위한 개념, 기법, 도구들을 포괄적으로 다루며 관련된 필요한 기술들을 전체적으로 공부할 수 있는 길을 제공하고 있어요. 코드 예제와 함께 프로덕션에서 적용해야 할 부분까지 잡아주고 있어서 실무에서 사용할 수 있을 정도로 자세하게 설명하는 실용 기술서입니다.

 

데이터 수집과 전처리, RAG 파이프라인, 지도 학습 파인튜닝과 모델 평가 및 최적화 그리고 배포까지... 프로덕션 애플리케이션을 위한 모든 과정을 한 권의 책으로 설명하기 때문에 내용이 방대하지만 책 《LLM 엔지니어링》에서 이끌어주는 대로 함께 개발해나가면서 조금만 응용하면 나만의 인공지능 시스템을 개발하는데도 많은 도움이 될 것 같습니다.

 

LLM을 실무에 적용하려고 하는 기술자들을 위해 쓰인 책 《LLM 엔지니어링》. 저도 올해 중에 간단하면서도 사용성이 높은 실무용 비서 인공지능 서비스를 하나 개발해 보려고 하다 보니 이런 분야에 관심이 가네요. 가볍게 훑어본 다음 처음부터 제대로 정독을 하면서 공부하려고 합니다.

 

책 《LLM 엔지니어링》은 LLM Twin이라는 글쓰기 인공지능 서비스를 하나 개발하면서 설계부터 배포까지 한 과정을 모두 따라 해보는 과정으로 구성되어 있습니다. 이미 부분적으로 기술을 아는 사람을 뛰어넘으면서 읽어도 좋을 것 같고 처음 개발해 보는 사람은 하나씩 따라 해보는 것도 괜찮겠네요.

 

RAG(Retrieval-Augmented Generation)는 검색 증강 생성이라고 번역되기도 하는데 대규모 언어 모델(LLM)의 답변 정확도와 신뢰성을 향상시키기 위해 외부 지식 소스를 활용하는 기술을 말합니다. 작년 어느 시점부터 크게 관심을 받기 시작한 것 같은데 이제는 모든 책에서 기본적으로 설명하는 필수 개념이 되었네요.

 

책 《LLM 엔지니어링》을 하나씩 따라가다 보면 파인튜닝에 대해서도 학습하며 직접 만든 LLM 애플리케이션에도 적용하면서 관련된 내용을 자세하게 익힐 수 있습니다. 저도 항상 개념으로만 보다 보니 정확한 내용은 몰랐는데, 이번에 따라 하면서 좀 더 깊게 공부해 봐야겠어요.

 

설계부터 시작해서 하나씩 배운 개념들을 직접 개발하고 있는 애플리케이션에 적용하면서 배울 수 있는 책 《LLM 엔지니어링》은 기술실용서이자 실무서로 딱 좋은 수준입니다. 입문자를 위한 개념 설명도 자세하게 되어있으나 지식의 양 자체가 방대하기 때문에 LLM 입문서로 추천은 조금 힘들 것 같습니다만 끈기가 있으시다면 이 한 권으로 충분할 것 같아 도전할 만은 합니다.

 

책 이름 그대로 LLM 엔지니어링에 대한 모든 것을 담으려 한 기술 실용서인 책 《LLM 엔지니어링》. 또 새로운 개념에 대해서 공부해 볼 기분을 느끼게 해주는 오랜만에 재미있는 책을 만난 것 같습니다.

공부하러 갑니다.

《LLM 엔지니어링》 북 리뷰 끝.

#한빛미디어, #LLM, #LLM책, #인공지능, #AI, #인공지능책, #AI책, #LLM엔지니어링, #RAG, #파인튜닝, #챗봇개발, #인공지능서비스, #인공지능앱개발, #LLM앱개발, #LLM책추천, #인공지능책추천

'LLM 엔지니어링'은 LLM을 활용하는 수준을 넘어 직접 설계하고 구축하며 운영한다는 목적을 가진 독자들에게 이상적인 책이다. 즉, 이론적 학습과 단순 실습을 넘어 생산 환경에 투입 가능한 수준의 LLM 서비스를 구현하는 데 필요한 모든 내용을 체계적으로 다룬다. AI 스타트업 개발자, 인하우스 AI 팀, MLOps 엔지니어, 기술 리더 모두에게 실전형 가이드를 제공한다. 기술의 폭과 깊이를 모두 충족하는 한 권의 책으로 강력히 추천한다.

[ "한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬 받아 작성된 서평입니다." ]

LLM 엔지니어링

Paul Iusztin(폴 이우수틴): 7년 이상 생성형 AI, 컴퓨터 비전 및 MLOps 설루션을 구축한 시니어 ML/MLOps 엔지니어. 최근에는 Metaphysic에서 대규모 신경망을 프로덕션에 적용하는 핵심 엔지니어로 근무했다. 또한 프로덕션급 ML 교육 채널인 Decoding ML을 설립해 사람들이 ML 시스템을 구축할 수 있도록 IT 기사와 오픈 소스 강좌를 제공하고 있다. - 링크드인 / PS) 실제 폴 이우스틴의 미디엄 에서 해당 책의 원본, 원문 내용을 많이 찾아볼 수 있다.

Maxime Labonne(막심 라본): Liquid AI의 모델 최적화 총괄 책임자. 파리 폴리테크닉 연구소에서 ML 박사 학위를 취득했으며, AI/ML 분야의 구글 개발자로 일하고 있다. LLM 과정과 LLM AutoEval 등의 도구, NeuralDaredevil과 같은 SOTA 모델을 포함해 오픈 소스 커뮤니티에 활발히 기여하고 있으며, 기술 블로그도 꾸준히 운영하고 있다. 저서로는 『핸즈온 그래프 인공신경망 with Python』(홍릉, 2024)이 있다. - 링크드인

? 한빛 책 링크 - https://www.hanbit.co.kr/store/books/look.php?p_code=B8130648672
? 코드 참조 깃허브 레포 - http://github.com/inrap8206/LLM-Engineers-Handbook

리뷰

실제 MVP의 핵심 기능을 직접 정하고, ML & MLOps 관점에서 아키텍처 설계부터 실습까지 점진적으로 나아가는 구성은 이 책의 가장 큰 미덕이다. 각 장을 넘길수록 기능이 하나씩 추가되고, 아키텍처가 세밀하게 확장되어 가는 방식은 단순한 튜토리얼을 넘어선다. 프로젝트가 완성되는 시점에서 "이 책은 처음부터 꽤나 치밀하게 설계되었다는 것"을 깨달았고, 그 흐름 속에 독자를 몰입하게 만든다는 점에서 확실히 '밀도' 있는 구성이다.

무엇보다도 토이 프로젝트의 완성도가 기대 이상으로 재밌다. 단순히 ‘구현했다’ 수준을 넘어 실제 운영 가능한 수준의 기획과 구조, 그리고 실험 기반 접근이 더해져 있어서 진짜 ‘프로젝트 하나 만든다’는 느낌이 강하다. 단순한 예제 코드가 아닌, 실전 감각이 묻어난 프로젝트라는 점에서 분명 큰 만족감을 준다. 입문자용이 아니라서 아주아주 마음에 들었던 책.. FTI 아키텍쳐 하나 제대로 배운 것 만으로도 만족!

[아쉬웠던 포인트 들]

책의 설명은 굉장히 상세하지만, 그만큼 진입장벽도 있다. 실습 환경을 세팅하거나 파이프라인 흐름을 따라가는 과정에서, 시각적으로 빠르게 이해하는 데 한계가 있다. 영상이나 인터랙티브한 문서가 병행되었다면 더 많은 독자들이 이 책의 가치를 누릴 수 있었을 것이다. (근데 나중에 발견한 링크, https://decodingml.substack.com/p/build-your-second-brain-ai-assistant 참조하면 도움이 꽤 될 듯 하다.)

그리고 한국 독자 기준으로는 데이터셋이 꽤 낯설 수 있다. 필자의 경우 GitHub, Notion, LinkedIn, Velog 데이터를 기반으로 커스터마이징하여 실습을 진행했는데, 국내 데이터셋에 맞춘 튜닝 사례나 팁이 조금이라도 언급되었으면 훨씬 현실감 있는 접근이 가능했을 것이다.

매우 주관적으로 "범위와 구성이 약간 과했다" 는 생각이 든다. 특히 도메인 주도 설계(DDD) 파트는 실제로 직접 카테고리를 확장하거나 데이터 파이프라인을 커스터마이징할 때 예상보다 많은 구조 변경이 필요했다. (물론 내가 못해서...) 가벼운 레이어를 분리정도로 했어도 괜찮은 프로젝트 사이즈가 아닐까!? 했다.

"LLM 평가 파트의 아쉬움" 이 있다. 아주 개인적으로는 도메인 특화 모델의 평가에 더 깊이 들어가주기를 바랐다. 파인튜닝 이후 모델을 어떻게 평가해야 하는지, 특히 정량적 지표가 부정확하거나 불충분할 때 어떻게 QA 해야 하는지가 궁금했으나, 방법론적인 틀 정도만 제시되고 넘어간 점은 아쉬웠다. 물론, 특화 도메인의 평가가 어렵다는 점은 현실적으로 공감되지만 말이다.

이 책은 ‘한 번 읽고 덮을 책’이 아니다. 처음부터 끝까지 따라하며 실습하는 것도 좋지만, 직접 파이프라인을 추가하고, 특성을 바꾸고, 평가 방식을 고민하며 R&D하는 데 활용하면 훨씬 큰 가치를 지닌다. 단지 구현에 그치지 않고, 업계에서 자주 마주치는 안티패턴을 경계하면서 고응집 / 저결합 아키텍처를 지향한다는 점도 매우 인상 깊다.

(요즘 읽은 책 중에 가장 읽기 어려웠던 책이다. 바쁜 일상 속에서도 쉽게 놓치고 싶지 않은 내용이 너무 많았기에, 욕심내며 읽게 된 책이었다. 그런 만큼 다시 두 번, 세 번 반복해서 보는 가치가 있는 책이기도 하다.)

한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬 받아 작성된 서평입니다.

목차

책은 11가지의 챕터와, 부록 1가지를 담고 있습니다.

1. LLM Twin 개념과 아키텍처 이해
2. 도구 및 설치
3. 데이터 엔지니어링
4. RAG 특성 파이프라인
5. 지도 학습 파인튜닝
6. 선호도 정렬을 활용한 파인튜닝
7. LLM 평가
8. 추론 최적화
9. RAG 추론 파이프라인
10. 추론 파이프라인 배포
11. MLOps와 LLMOps
12. 부록: MLOps 원칙

LLM Twin

책에서는 LLM Twin을 아래와 같이 설명하고 있습니다.

간단히 말해, LLM Twin은 복잡한 AI 모델인 LLM에 자신의 글쓰기 문체, 어조, 성격을 반영한 AI 페르소나이다. 이는 LLM 속에 '투영된' 자신의 디지털 버전이라고 할 수 있다. 일반적으로 LLM이 공개한 인터넷의 데이터로 학습된 것과 달리, LLM Twin은 자신의 데이터를 LLM에 파인튜닝한다.

LLM Twin을 구축하면, 번거로운 작업 (SNS 맞춤형 콘텐츠 작성)을 효율적으로 작성할 수 있습니다. ChatGPT와 같은 일반적인 LLM을 이용하면 개인화되어 있지 않은 것으로 프롬프팅 / 환각 발생 등의 문제가 발생할 수 있습니다.

이 내용을 읽고, 본 책의 작성 의도는 "LLM API를 붙여 애플리케이션을 만드는 방법에 대한 안내" 가 아니라, "LLM 그 자체를 만들고 관리하는 방법"을 안내하고 있다는 것을 알게 되면서 처음 의도와 달라 조금 당황했었습니다. 책을 선택하실 때, 저자의 의도가 LLM 자체를 만드는 방법에 대한 것임을 미리 확인해두시면 좋을 것 같습니다.

LLM 평가

책에서는 ML의 평가 요소와 LLM의 평가 요소를 구분하면서, 각각이 중점을 둔 요소가 다른 것임을 알려주고 있습니다.

ML 평가

• 모델이 구조화된 데이터를 얼마나 정확하고 효율적으로 처리해 특정 결과를 도출하는지에 초점을 둠
• 주가 예측, 이상치 탐지 등 명확히 정의된 문제를 해결하기 위한 목적

LLM 평가

• 모델이 언어를 얼마나 잘 이해하고 생성하는지에 초점을 둠
• 언어를 해석하고 생성하는 작업을 수행함에 따른 주관성 부여

즉, LLM을 평가할때는 수치와 같은 정량적 평가 말고도 일관성 있는 답변을 내리는지에 대한 정성적 평가가 필요합니다.

이 외에도, RAG 시스템을 평가할 때에는 주로 신뢰도 / 답변 관련도 / 문맥 정밀도 / 문맥 재현율 네 가지가 평가될 수 있음을 안내하고 있어, 실제 RAG를 평가할 때 반드시 알아야 할 요소를 배울 수 있었습니다.

총평

책의 구성 자체는 풍부한 그림과 코드를 통해 ML 지식이 있으신 분들이 더 쉽게 이해하실 수 있도록 구성되어 있습니다. 또, 각 장의 마지막에 요약과 참고 문헌까지 제공하여, 각 장에 대한 지식을 복기하고 추가적인 학습을 할 수 있도록 구성되어 있던 점이 좋게 느껴졌습니다.

각 장의 마지막에 있는 요약과 참고 문헌

다만 위에서 말씀드린대로, "LLM 애플리케이션"의 의미를 혼동하여 구매하신 분들이라면 읽기 어려우시겠다는 점이 들어 그 점에서 아쉽게 느껴졌습니다. 보다 본질적으로 LLM을 탐구해보고 싶은 분들이라면 추천될만한 책이지만, LLM을 이용한 서비스를 만들고 싶고 이때 활용할 수 있는 방법들을 익히고 싶으신 분들이라면 조금 더 낮은 수준의 책으로 읽어보시는 것을 추천드립니다.

최근 몇 년간, 대규모 언어모델(LLM)의 비약적인 발전은 인공지능 분야의 패러다임을 완전히 바꾸어 놓았다. LLM 엔지니어링의 모든 것을 망라한 실전 가이드는 이러한 기술 변화 속에서, 학문과 산업 현장을 잇는 실질적 가이드로서 매우 주목할 만한 저작이다.

컴퓨터정보과 교수로서 이 책을 접하며 가장 인상 깊었던 점은, 단순한 기술 나열이나 이론 설명을 넘어 실제 ‘프로덕션 수준의 시스템’을 구축하는 데 필요한 모든 과정을 통합적으로 다룬다는 것이다. 특히 ‘LLM Twin’이라는 실전 프로젝트를 기반으로, 데이터 수집부터 전처리, 파인튜닝(SFT·DPO), RAG 기반 검색 아키텍처 설계, 클라우드 배포 및 운영 자동화(LLMOps)까지 학문적으로도 의미 있는 체계를 유지하면서도 실무에 직접 적용 가능한 내용을 담고 있다.

이 책은 단순한 개발서가 아니라, LLM을 연구·교육하는 교수진과 실습 중심의 교육 과정을 설계하려는 교육자에게도 이상적인 참고서가 된다. 예를 들어, RAG와 같은 최신 AI 아키텍처는 이론적 개념뿐 아니라 구현 방법까지 상세히 설명되어 있어 학부·대학원 수업에서 프로젝트 기반 학습(PBL)을 구성할 때 매우 유용하다. 또한 FastAPI를 통한 실시간 API 구축, 오토스케일링을 활용한 클라우드 배포 전략 등은 산업 현장에서 요구하는 실무 역량과 직결된다.

LoRA·QLoRA와 같은 경량화 파인튜닝 기법이나 선호도 기반 파인튜닝(DPO) 또한, 최근 AI 윤리 및 사용자 맞춤형 모델 연구 흐름과도 밀접히 연결되어 있어, 연구실 기반의 실험이나 논문 주제 발굴에도 기여할 수 있다.

결론적으로 이 책은, LLM 시스템의 핵심 구조를 학습하고, 이를 기반으로 연구·교육·실무를 연결하고자 하는 모든 이에게 필독서다. 생성형 AI 시대를 준비하는 공학계열 교수, 커리큘럼을 강화하려는 교육자, 그리고 연구와 실습을 병행하는 대학원생에게 특히 추천한다.

LLM에 대한 이야기와 정보가 현재 기술적인 트랜드이고 시대의 흐름입니다.

실무에서 AI프로젝트를 시작하고 싶거나, 구성하는데 주안점을 둔 책이며, 이 책을 통해 LLM 기반 시스템을 구현하고 배포하는

기술을 향상시킬수 있습니다. 이 책은 MLOps의 원리를 깊이 있게 다루고 있고, 오픈소스 LLM를 활용해 실제 문제를 

해결하는 MVP를 개발하는 전 과정을 다루고 있습니다.

총 8장으로 구성되어 있으며, p.508 페이지로 구성되어서 많은 정보를 다루고 있습니다.

■ LLM Twin 개념과 아키텍처 이해

· LLM Twin의 개념은 AI모델인 LLM에 자신의 글쓰기 문제, 어조, 성격을 반영한 AI페르소나이다. 즉 자신의 데이터를 LLM에 파인튜닝하는 개념이다. 이런 개념을 도입한 사례는  아래와 같다.

 - 링크드인 게실물과 X 스레드, 친구와 가족의 메세지, 학술 눈문과 기사 등

· twin은 코파일럿과 차이를 가진다. 코파일럿은 프로그래밍, 글쓰기, 콘텐츠 작성등 다양한 작업에서 사용자를 보조하는 AI도 개념이다.

· 아키텍처는 ML시스템의 패턴인 특성, 학습, 추론 FTI 아키텍처를 이해해야 한다.
 

<LLM Twin의 고수준 아키텍처>

■ 도구 및 설치

처음 시스템을 구성하기 위해서 어떠한 기술을 사용하고, 적절하고 대중적인 오픈소스에 대해서 정보가 없기 때문에 판단하기 어렵습니다.

또한 하나의 기술만 사용되는 것이 아닌, 여러 기술들이 조합되어서 처리 프로세스 동작시켜야 하기 때문에 이 책에서는 그러한 기준을 제시합니다. 

· python기반으로 환경구성을 예제로 구성합니다. 

 - Poery를 통해서 의존성 및 가상 환경 관리 도구로 사용

 - 허깅 페이스 : 모델 레지스트리 역활로 ML모델의 라이프사이클을 관리하는 중앙화된 저장소

 - Poe the Poet : 작업 시행 도구

 - ZenML : 오케스트레이터, 아트팩트, 메타데이터

 - Comet ML : 실험 추적 도구

 - Opik : 프롬프트 모니터링

 - 몽고DB : NoSQL 데이터베이스

 - Qdrant : 벡터 DB

 - AWS플랫폼 및 세이지메이커 : 학습 및 추론을 위한 컴퓨팅

 이러한 기술적인 요소들에 대해서 키워드 및 주요 역활에 대해서 잘 이해할수 있습니다.

■ 데이터 엔지니어링

실제 작업을 수행하려면, 원시 데이터 수집이 필요합니다.

크롤링을 통해서 원시 데이터를 다양하게 수집하고 --> 몽고 DB 데이터 웨어하우스에 저장을 하고

 --> ETL 파이프라인을 설계하고 구현을 하게 됩니다.

· 주요 처리 과정

 - 데이터 수집 파이프라인 설계

 - 데이터 수집 파이프라인 구현

 - 원시 데이터를 데이터 웨어하우스로 수집

여기서 NoSQL을 이용하기 위해서 데이터 카테고리 구조화를 위해서 아래와 같은 방식으로 처리를 합니다.

ORM 및 ODM 패턴을 사용하는데, 보통 객체지향 프로그래밍을 사용하신 분들은 ORM에 대해서 익숙한 경우가 많습니다.

몽고DB 데이터 웨어하우스와 상호작용을 하기 위해서 기본 ODM클래스인 NoSQLBaseDocument를 구현합니다.

필요한 코드에 대해서 전체적으로 구체적으로 설명하고 있습니다.

■ RAG 특성 파이프라인

RAG는 생성형 AI응용 프로그램을 만들때 반드시 필요한 기술입니다. 

검색 증강 생성 RAG(Retrieval-Augmented Generation)의 약자로써, 이 기술의 핵심적인 역할은 LLM에 학습되지 않은 외부 데이터를 추가로 입력해 특정 작업(요약, 재구성, 데이터 추출)을 수행하는 것입니다. 

LLM을 사용할때, 학습되지 않은 데이터로 작업해야 하는 경우가 많고, LLM데이터를 학습시키기 위해서는 사전 학습이나 파인튜닝이 필요합니다. 대규모 데이터 수집, 고사양 GPU등에 대한 투자가 힘들고 비용이 많이 들기 때문에 RAG는 효율적인 해결적이 될수 있습니다.

· RAG 프레임워크 

각각의 역할 및 처리해야 하는 프로세스가 다른 3가지 파이프 라인을 가지고 있습니다.

 - 수집 파이프 라인

 - 검색 파이프 라인

 - 생성 파이프 라인 

· 임베딩 개념을 통해서, 우리가 왜 임베딩기법을 사용해야 하고, 활용해야 하는지 설명합니다.

· RAG의 고급 기법으로 검색 전처리 / 검색 / 검색 후 처리 방식으로 품질향상으로 가질수 있습니다.

■ 지도 학습 파인 튜닝, 선호도 파인 튜닝

 SFT 지도 학습 파인튜닝은 LLM을 실제 응용 프로그램에 효과적으로 적용하기 위해 반드시 거쳐야 하는 중요한 단계입니다.

LLM 초기 사전 학습 단계에서 다음 토큰을 예측하는 방법을 학습하고, 이후 SFT를 통해 선별된 모델의 성능을 개선합니다.

이러한 구성으로 파이프라인을 구성합니다.

각각의 데이터 선별, 중복제거, 정제, 품질평가, 탐색의 과정을 거치면서, 효율적인 파인튜닝 기법도 제시합니다

LoRA, QLoRa등을 다루며, 조금더 구체적으로 실전 파인튜닝을 수행합니다.

· 선호도 데이터셋을 구성하면서 DPO구현도 진행합니다.

■ LLM 평가 및 추론 최적화

구성은 하였지만, 모델의 성능과 역량을 확인하기 위한 과정은 중요합니다. 

일반적인 평가방법은 대규모 멀티태스킹 언어 이 (MMLU), LMSYS Chatbox Arena와 같은 벤치마크를 활용하는 것이 

많이 사용됩니다.

 - 모델 평가, RAG평가, TwinLiama-3.1평가 방식으로 내용이 구성되어 있습니다.

· Ragas는 RAG시스템의 평가와 최적화를 위해 개발자에게 표괄적인 도구 세트를 제공하는 오픈소스 툴킷입니다.

· ARES는 RAG시스템을 평가하기 위해 설계된 종합 도구 입니다.

· LLM 배포하는 것은 막대한 연산비용과 대규모 메모리 확보의 어려움으로 쉽지 않아서, 추론에 최적화를 이루어야 하낟.

 - 모델 최적화 전략 : KV캐시, 연속 배칭, 추측 디코딩

 - 모델 병렬 처리 : 데이터 병렬 처리, 파이프라인 병렬 처리, 텐서 병렬 처리, 접근 방식 결합

 - 모델 양자화 : GGUF와 llama.cpp를 활용한 양자화, GPTQ와 EXL2를 사용한 양자화 

■ 추론 파이프라인 배포

배포하는 것은 머신러닝 애플리케이션 라이프사이클에서 중요한 단계입니다.

- 온라인 실시간 추론

- 비동기 추론

- 오프라인 배치 변환
의 배포 유형이 있습니다.

2장에서 언급한 AWS의 세이지메이커를 통한 배포 단계를 수행 합니다.

시대의 흐름에 따라서 다양한 Ops가 생겨나고 있습니다.

DevOps, MLOps, LLMOps에 대해서 11장에서 설명하고 있습니다.

각각의 개념의 차이 및 라이프사이클, 특징점을 다루고 있으며, 개념을 확실히 잡을 수 있습니다.

한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬 받아 작성된 서평입니다.

『LLM 엔지니어링 – RAG, 파인튜닝, LLMOps로 완성하는 실무 중심의 LLM 애플리케이션 개발』은 실제 제품 수준의 LLM 애플리케이션을 개발하고 배포할 수 있도록 돕는 실전 중심의 안내서이다. 이 책의 가장 큰 특징은 단순한 API 호출이나 모델 응용에 그치지 않고, 하나의 완결된 프로젝트를 통해 LLM 개발의 전 과정을 따라가게 한다는 점이다. 책 전체는 'LLM Twin'이라는 개인 맞춤형 AI 캐릭터를 구현하는 과정을 중심으로 구성되어 있으며, 이를 통해 독자는 LLM 기반 애플리케이션의 기획, 개발, 배포, 운영까지 아우르는 내용으로 구성되어 있다.

초반부에서는 LLM Twin이라는 개념을 통해 개인의 글쓰기 스타일과 성격을 모방하는 AI의 필요성과 목적을 설명하고, 이를 구현하기 위한 시스템 아키텍처를 소개한다. 이 부분에서는 단순히 모델을 다루는 기술적인 측면뿐만 아니라, 하나의 제품으로서 LLM 애플리케이션이 가져야 할 구조와 기능에 대한 전반적인 이해를 제공한다. 이어지는 장에서는 파이썬 생태계를 기반으로 프로젝트를 설치하고, 실습에 사용할 MLOps 및 LLMOps 도구들, 벡터 검색 DB인 Qdrant, NoSQL DB인 MongoDB, 그리고 클라우드 인프라로서 AWS 준비 방법 등을 다룬다.

중반부에서는 본격적인 데이터 엔지니어링과 모델 학습, RAG 파이프라인 설계에 들어간다. 웹스크래핑을 통해 데이터를 수집하고, 이를 전처리하여 벡터화한 후 저장소에 적재하는 파이프라인을 직접 구현하게 된다. 이를 바탕으로 RAG(Retrieval-Augmented Generation) 아키텍처를 구성하며, 단순한 검색-생성 결합이 아닌, 문서 기반 지시문 및 응답 형태로 확장된 고급 RAG 구성을 실습할 수 있다. 고급 RAG 구성은 실제 서비스 환경에서의 사용자 질의 대응력 향상과 밀접한 연관이 있으며, 이 책은 그것을 실제 코드 수준에서 상세히 안내한다.

지도 학습 기반의 파인튜닝 장에서는 LoRA와 QLoRA 같은 최신 경량화 기법을 활용하여 학습 비용을 줄이면서도 모델의 성능을 개선하는 방법을 제시한다. 특히 지시문 데이터셋을 직접 생성하고 이를 기반으로 SFT(Supervised Fine-Tuning)를 적용하는 과정은, 단순히 공개된 데이터셋을 이용하는 것이 아니라 자신만의 맞춤형 데이터로 모델을 조정하는 경험을 제공한다. 이어서 선호도 기반 파인튜닝에서는 최근 주목받고 있는 DPO(Direct Preference Optimization) 기법을 다룬다. 사용자 선호 데이터를 수집하고 이를 바탕으로 모델이 보다 자연스럽고 일관성 있게 응답할 수 있도록 정렬 파인튜닝을 수행하는 이 과정을 통해, 사용자 맞춤형 AI 응답 품질을 높이는 실제 전략을 배울 수 있다.

후반부에서는 모델 평가와 추론 최적화, 서비스 배포와 운영까지 이어진다. 모델 성능 평가에서는 BLEU, ROUGE 같은 평가 지표뿐만 아니라, 실제 사용 맥락에서의 응답 품질을 측정하는 평가 방법론도 함께 소개된다. 추론 최적화 부분에서는 양자화와 모델 병렬 처리 전략이 등장하며, 이는 고사양 장비 없이도 추론 속도와 비용을 개선하려는 개발자들에게 특히 유용하다. 이 과정에서도 Hugging Face의 Optimum과 같은 라이브러리 활용법이 함께 안내된다.

배포 파트에서는 FastAPI 기반의 RESTful 서버 구현을 통해 추론 API를 설계하고, 오토스케일링을 포함한 클라우드 배포 전략까지 다룬다. 모놀리식 아키텍처와 마이크로서비스 아키텍처를 비교 분석하면서 서비스 구조 설계에 대한 이해를 높이고, 급증하는 트래픽을 처리할 수 있는 탄력적 인프라 구축까지 안내한다. 이 부분은 실무 환경에서 LLM을 실제로 활용하려는 팀과 조직에게 매우 실용적인 내용을 담고 있다.

마지막으로 LLMOps에 관한 챕터에서는 DevOps, MLOps, LLMOps의 차이점을 설명하고, 실험 추적, 버전 관리, 테스트, 모니터링, 재현 가능성 등 운영 환경에서의 안정성과 신뢰성을 확보하기 위한 핵심 원칙들을 실습 중심으로 제시한다. 특히, MLflow, Weights & Biases(W&B), DVC 등 LLM 실험 및 버전 관리를 위한 툴체인 구성법은 실제 조직 내 모델 운영과 유지보수에 실질적인 도움을 준다.

이 책의 장점은 최신 LLM 기술 트렌드를 충실히 반영하면서도 단순한 개념 설명에 그치지 않고, 실제 코드와 프로젝트 흐름을 통해 독자가 직접 구현하며 배울 수 있도록 구성되어 있다는 점이다. RAG, LoRA, QLoRA, DPO, Qdrant, FastAPI, LLMOps 등 현재 LLM 엔지니어링 분야에서 가장 핵심적인 기술들을 모두 아우르며, 이들을 실무에 적용하는 데 필요한 모든 구성 요소를 빠짐없이 소개한다.

다만 이 책은 중급 이상의 개발자를 대상으로 한다. 파이썬 기본 문법, REST API 설계, 리눅스 기반 서버 운용, 도커, 데이터베이스, Hugging Face 라이브러리 등에 대한 사전 지식이 없다면 진입 장벽이 있을 수 있다. 그러나 이 모든 도구를 이미 활용해본 독자라면, 이 책은 실질적인 기술 내공을 한 단계 끌어올릴 수 있는 실습형 가이드이다.

『LLM 엔지니어링』은 단순히 AI를 ‘사용’하는 것 뿐만 아니라, AI를 ‘구현하고 운영’하는 개발자와 엔지니어, 기술 리더를 위한 실무 지침서이다. 생성형 AI 시대에 개인화된 서비스 개발과 LLMOps 체계를 도입하고자 할 때 도움이 되는 책이다.

"한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬받아 작성된 서평입니다."
 
 
『LLM 엔지니어링』은 최근 IT 업계에서 주목받는 대형 언어 모델(LLM)의 개발과 운영을 체계적으로 다룬 실용적인 지침서다. 책은 LLM Twin이라는 구체적인 사례를 기반으로, 모델 개발에서부터 배포 및 운영까지 전체 워크플로우를 단계별로 안내한다.
먼저 책의 초반부(1~3장)는 LLM Twin의 개념과 시스템 아키텍처 설계 방법, 그리고 개발 환경 구축 및 데이터 엔지니어링을 중심으로 다룬다. Python 기반의 환경 설정, MongoDB와 Qdrant 등 데이터 저장소, AWS 클라우드를 활용한 실제 환경 설정까지 실무에 필요한 내용을 꼼꼼하게 제시한다.
중반부(4~7장)는 LLM 모델의 성능을 극대화하기 위한 RAG(검색 기반 생성) 특성 파이프라인 구축과 지도 학습 파인튜닝(SFT), 선호도 정렬 파인튜닝(DPO), 그리고 효과적인 모델 평가 방법을 다룬다. 특히 실습 중심으로 내용을 풀어내 독자가 직접 따라 하며 이해할 수 있도록 돕는다.
후반부(8~11장)는 모델의 실제 운영 환경에 적용 가능한 실질적 기술을 다룬다. 추론 최적화를 위한 병렬 처리와 양자화 기법, 실제 배포 전략 비교(모놀리식 vs 마이크로서비스), FastAPI 기반 배포 방법 등 실무 적용에 직접적으로 도움되는 정보가 많다. 또한 MLOps 및 LLMOps의 개념과 운영 자동화, 버전 관리 등 운영 단계에서 필수적인 내용을 체계적으로 제시하여 현업 엔지니어에게 실질적인 가이드를 제공한다.
이 책은 이미 기본적인 ML 지식을 갖춘 개발자들이 LLM 개발과 운영을 빠르게 익힐 수 있도록 구성되어 있다. 명확한 코드 예제와 실제 운영 시나리오를 풍부하게 제공하며, 특히 현장에서 흔히 겪는 문제들과 해결법을 다룬다는 점이 장점이다. 다만, 모델의 이론적 기반에 대한 심도 있는 설명보다는 실용성에 초점을 두고 있어 이론적 이해를 원하는 독자에게는 다소 아쉬울 수 있다.
정리하면, 『LLM 엔지니어링』은 실질적인 LLM 개발 및 운영 역량을 높이고자 하는 개발자와 엔지니어들에게 추천할 만한 좋은 입문서이자 실무 지침서다.
 

"한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬 받아 작성된 서평입니다."

저는 <나는리뷰어다>활동을 꽤 오래 해오고 있습니다. 여러 가지 장점이 있기 때문인데요. 제가 최고로 꼽는 장점은 "내가 골랐으면 찾아 읽지 않았을 것 같은 책"을 읽고 "새로운 세상을 만나는 기회"를 얻는다는 것입니다.

​

<LLM 엔지니어링>도 그런 책이었습니다. 가끔 SNS를 통해 MLOps, LLMOps라는 용어를 들어봤지만, 제가 하는 일이 아니기 때문에 강 건너 불구경하듯 어렴풋이 개념을 짐작하는 정도였는데요. <LLM 엔지니어링>은 LLM Twin이라는 서비스를 구축하기 위한 청사진을 제시하며 LLMOps를 실질적으로 설명하고 있어서, 명확하게 이해할 수 있었습니다.

​

저자들이 LLM Twin이라는 이름으로 구축하는 서비스는 일종의 대필 서비스입니다. 사용자의 개인 블로그 글들을 긁어다가 사용자 문체를 학습하고 사용자가 쓴 것 같은 글을 써주는 거죠. 이를 '스타일 전이(style transfer)'라고 한다는데요. 사진을 입력하면 빈센트 반 고흐의 그림풍으로 바꿔주거나 일본 애니메이션 풍으로 바꿔주는 것과 비슷합니다.

​

그럼, 이런 서비스는 어떻게 구현해야 할까요?

저자들은 뭘 구현해 가야 하는지 방향성을 먼저 설명합니다. LLM Twin이라는 서비스가 뭘 하려고 하는지 기획의도를 이야기하고 MVP 즉 '최소 기능 제품'으로 구축해 나갈 것을 이야기합니다. 그리고 아키텍처 설계상에 안티 패턴으로 발을 헛디딜 부분에 대해서도 주지해 주죠.

​

이 아키텍처에 따르면 모든 ML 시스템은 특성, 학습, 추론이라는 세 가지 파이프라인으로 요약할 수 있다.

본문 44페이지

전체 청사진 개념을 명확하게 정의해 주고 사용할 도구들을 나열하기 시작합니다. 저자들은 파이썬을 사용해서 구현했는데요. Poetry라는 툴은 이 책에서 처음 접했습니다. 저는 파이썬 개발자는 아니지만 가끔 파이썬 코드를 사용할 때가 있거든요. 그럼 파이썬의 가상환경을 사용하게 되는데, conda나 venv는 써봤지만 poetry는 아예 생소했습니다. 그런데 저자는 poetry가 가장 유명하고 요즘 러스트로 개발된 uv도 테스트해 볼 만하다고 설명하더군요. (이렇게 빨리 바뀌는 건가 싶네요), poetry를 시작점으로 꽤 많은 숫자의 툴들을 설명하는데, 비교할 수 있는 툴들도 언급해 줘서, 나중이 비슷한 시스템을 구축할 독자를 배려하는 느낌이 들었습니다.

​

각종 블로그에서 크롤링 하여 이를 원시 데이터로 받아 RAG로 넘깁니다. RAG는 LLM의 최대 취약점으로 여겨지는 두 가지, 즉 최신 데이터를 반영하지 못하는 것과 환각 현상에 대한 대책이 됩니다. 그리고 그 결과를 벡터 DB에 넣어 빠르게 사용할 수 있는 구조를 만들고, 파인 튜닝, 추론, 그리고 최적화 과정을 거치게 합니다.

​

책을 읽다 보니 중국집에서 맛있는 짜장면을 먹다가 무심코 깔끔하게 정리된 주방 안을 들여다본 것 같은 기시감을 받게 되었습니다. 짜장면 맛을 보며 대충 어떤 재료로 조리했는지 상상해 보던 순간 주방 내부를 보게 된 겁니다. 주방 내부를 보니 어떤 기구를 써서 짜장면이 어떻게 조리되었을지가 주마등처럼 스쳐가는 거죠.

LLM 서비스가 어떤 기술을 쓰겠구나 하고 대충은 짐작하지만 만들 수 없는 상황입니다. 그런데 이렇게 말끔하게 조리도구들을 알려주는 것입니다. 그럼 이제 도전해 볼 만하겠죠.

​

요즘 IT는 AI를 빼고는 상상을 할 수 없을 만큼 변화하고 있습니다. 누군가는 소프트웨어가 세상을 먹어치우고 AI가 소프트웨어를 먹어치우고 있다고 말하기도 했죠. 이런 상황에서 그 핵심에 놓여 있는 LLM 서비스를 구축할 수 있는 청사진 같은 책을 읽는다는 건 많은 의미를 가질 것 같습니다.

​

게다가 저자는 FTI(특성, 학습 추론) 아키텍처를 설명하면서 이는 기존 서비스의 DB, 비즈니스 로직, UI 계층과 유사하다고 언급하고 있는데요. 이는 어쩌면 프런트엔드 개발 분야의 엄청난 변화를 예견하는 게 아닌가 싶었습니다. 올해를 시작으로 에이전트형 AI가 크게 발전할 것으로 많은 사람들이 내다보는데요. 에이전트 AI는 UX 분야를 근본적인 부분부터 흔들어 놓을 것 같습니다.

지금까지 UX는 서비스 제공 업체의 개발자가 뚫어 놓은 길을 통해 사용자가 DB와 만나는 접점이었는데요. 앞으로 UX는 서비스 제공 업체의 에이전트가 사용자와 소통하거나 사용자와 소통하는 에이전트와 소통하는 접점으로 바뀌게 될 것입니다.

그럼, 서비스를 구성하는 누군가는 FTI의 마지막 파이프라인인 '추론 파이프라인'을 이해하고 사용자 또는 사용자의 에이전트와 소통하는 UX를 만들어 줘야 할 필요가 생길 것이고, AI 시대 프런트엔드 개발자들의 역할이 되지 않을까 싶거든요.

​

그래서, 이 책이 제게 좀 더 큰 의미로 다가왔던 것 같습니다.

​

"한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬 받아 작성된 서평입니다."

8년 차 프론트엔드 개발자이자 초기 스타트업 팀장으로서, LLM 기능을 서비스에 붙이려다 막히는 순간이 많았습니다. 이 책은 그런 갈증을 해소해준 실전 지침서입니다. LLM API 호출 이상의 것을 만들고 싶은 분께 강력 추천합니다.
 

LLM Twin이라는 가상의 AI 프로젝트를 처음부터 끝까지 따라가며 실제로 데이터 수집, 파인튜닝, RAG 구축, 추론 최적화, 배포, 운영까지 배우게 됩니다. 특히 FastAPI로 마이크로서비스를 구성하고, MLOps/LLMOps 원칙에 따라 프로덕션 수준의 시스템을 설계하는 방식이 인상 깊었습니다.

기능이 아닌, 시스템을 만드는 법을 배우고 싶은 개발자라면 필독서입니다.

"한빛미디어 서평단 <나는 리뷰어다> 활동을 위해서 책을 협찬받아 작성된 서평입니다."

한빛미디어의 『 LLM 엔지니어링』도서는 그야말로 생성형 AI 시대에 맞는 실전서다. 책을 펼치기 전에는 “요즘 또 LLM 책인가 보다” 하고 반신반의했지만, 막상 읽다 보니 이 책은 단순히 모델을 설명하고 끝나는 책이 아니라, 하나의 AI 제품이 어떻게 탄생하고 작동하며, 현실 속에서 굴러가는지를 총체적으로 보여주는 드문 책이었다.

무엇보다 좋았던 점은, LLM Twin이라는 개념을 실제 서비스처럼 다룬다는 점이다. 단순한 챗봇이나 RAG 시스템이 아니라, 마치 “디지털 트윈”처럼 하나의 지능형 주체가 되어 사용자와 상호작용하는 시스템을 만들겠다는 관점이 꽤 신선하게 다가왔다. AI를 단순한 기능의 집합이 아닌, ‘제품’처럼 바라보게 만든다는 점이 이 책의 가장 큰 차별점이었다.

초반부에 LLM Twin의 구조와 개념을 소개할 때는 “과연 이걸 현실에서 구현할 수 있을까?” 하는 의문도 들었지만, 이어지는 챕터를 따라가다 보면 어느새 그 구조가 현실 가능한 설계로 다가온다. 특히 아키텍처 설계 파트에서는, 이론과 실제 구현 사이를 적절히 오가며 설계 원칙과 선택 기준을 명확하게 제시해 준다. 단순히 그럴싸한 블록 다이어그램이 아니라, 어떻게 하면 운영 가능하고 유연한 시스템이 될 수 있을까에 대한 고민이 엿보인다.

개인적으로 가장 몰입해서 읽었던 부분은 도구 설정과 RAG 파이프라인이었다. Malvus 벡터 DB만 써본 나에게 Weaviate나 ChromaDB 같은 벡터 DB의 선택 기준, LangChain과 같은 프레임워크의 활용법, 그리고 무엇보다 RAG가 단순히 검색 + 생성의 조합이 아니라는 것을 다시 한번 체감하게 해줬다. “고급 RAG” 챕터에서 등장하는 다양한 문서 분할 전략이나 임베딩 개선 방식은 당장 프로젝트에 적용하고 싶을 정도로 현실적이고 구체적이다.

중반 이후부터는 본격적으로 학습 파이프라인을 다루는데, SFT(지도 학습 기반 파인튜닝)와 DPO(선호도 기반 최적화)는 GPT 류 모델을 커스터마이징하려는 사람들에게 정말 유용한 가이드였다. 개인적으로는 SFT를 여러 번 시도해 본 경험이 있어, 이 책의 설명이 얼마나 실전적인지 피부로 느낄 수 있었다. 단지 “이렇게 하면 됩니다”가 아니라, 왜 그렇게 해야 하고, 그 과정에서 어떤 문제가 생길 수 있는지까지 짚어주는 점이 특히 좋았다.
 

그리고 정말 고마웠던 부분은, 모델 학습만큼이나 ‘추론 환경’과 ‘운영 관점’에 대해서도 깊이 있게 다룬다는 점이다. 많은 책들이 학습까지만 설명하고 끝나지만, 현실에서는 운영이 더 힘들고 중요하다. 이 책은 그런 점을 간과하지 않고, 추론 최적화, 양자화, 병렬 처리 전략, 배포 아키텍처, 오토스케일링 등까지 섬세하게 안내해 준다. 이 부분을 읽으면서 “아, 이건 정말 현업에서 만든 책이구나”라는 느낌이 강하게 들었다.

후반부 MLOps/LLMOps에 대한 논의도 인상 깊었다. DevOps → MLOps → LLMOps로 이어지는 진화 과정 속에서, 실제 어떤 원칙을 가지고 어떤 도구를 써야 하는지 정리되어 있어 좋았다. 부록에 있는 MLOps 원칙들을 읽으면서는, 마치 나 자신이 지금까지 얼마나 복잡하게만 생각하고 있었는지 돌아보게 되었다. “자동화가 목적이 아니라, 운영이 목적이다”라는 한 줄은 책을 덮은 뒤에도 오래 마음에 남았다.

이 책은 단순히 하나의 기술을 설명하는 책이 아니다. AI 시스템 전체를 한 번도 끝까지 경험해 보지 못한 사람이라면, 이 책을 통해 한 번 완주해 보는 느낌을 받을 수 있을 것이다. 반대로 이미 실무에서 AI 시스템을 운영하고 있는 사람에게는 자신의 아키텍처를 되돌아보게 만드는, 꽤 자극적인 거울이 될 수도 있다.

한마디로 말해, 이 책은 AI 시스템을 ‘진짜 제품처럼’ 만들고 싶은 사람에게 딱 맞는 책이다. 읽고 나면, “나도 이런 시스템을 만들 수 있을 것 같다"라는 자신감과 함께, 어쩌면 “지금까지는 너무 단편적으로 AI를 바라봤구나”라는 약간의 부끄러움도 함께 남는다.

솔직히 술술 넘어갈 정도로 쉬운 난이도는 절대 아닌 내용의 도서지만 개인적으로는 올해 읽은 기술서 중 가장 실질적인 인사이트와 동기부여를 동시에 준 책이었다.
 

"한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬 받아 작성된 서평입니다."
 

LLM의 열기가 식을 줄 모르는 지금, 단순한 API 호출을 넘어 "진짜 나만의 LLM 애플리케이션을 구축할 수 있을까?"라는 질문이 개발자들 사이에서 핵심 화두로 떠오르고 있습니다. 바로 이 질문에 대한 명쾌한 해답과 실질적인 로드맵을 제시하는 책, "LLM 엔지니어링"을 만났습니다. 이 책은 LLM을 '활용'하는 수준을 넘어, 직접 '설계하고 구축'하는 전 과정을 안내하며, "LLM 붐은 끝나지 않았다. 이제 중요한 것은 '진짜 구축할 수 있는가'이다"라는 표지의 문구처럼 현시대 LLM 개발의 핵심을 정확히 짚어냅니다.

이 책의 가장 큰 매력은 'LLM Twin'이라는 실제 프로젝트를 기반으로 엔드투엔드 LLM 애플리케이션 개발 과정을 따라간다는 점입니다. 독자는 개인의 글쓰기 스타일과 성격을 모방하는 AI 캐릭터를 직접 구현하면서, 아이디어 구상부터 데이터 수집 및 전처리, 지도 학습 파인튜닝(LoRA·QLoRA), RAG(Retrieval Augmented Generation) 파이프라인 개발, 직접 선호 최적화(DPO), 모델 평가, 추론 최적화(양자화, 병렬 처리), FastAPI를 이용한 API 서버 구축, 그리고 LLMOps를 통한 운영 자동화까지 프로덕션 수준의 시스템 구축에 필요한 모든 단계를 경험하게 됩니다.

단순히 "쓰는 법"이 아닌, "만드는 법"을 체계적으로 배울 수 있도록 구성된 점이 돋보입니다.

책에서 제시하는 단계별 학습 로드맵은 다음과 같습니다:

1. 데이터 수집 및 전처리: 웹 스크래핑, MongoDB 및 Qdrant를 활용한 데이터 저장 및 검색
2. 모델 맞춤 학습 (파인튜닝): LoRA/QLoRA 등 최신 기법을 활용한 지도 학습 파인튜닝(SFT) 및 직접 선호 최적화(DPO)
3. 검색 기반 답변 생성 (RAG 구축): 고급 RAG 아키텍처 설계 및 문서 기반 질의응답 구현
4. 모델 서비스화 (FastAPI 서버 구축): 개발된 모델을 실제 서비스로 제공하기 위한 API 서버 구현
5. 응답 속도 및 비용 개선 (추론 최적화): 양자화, 병렬 처리 등을 통한 실시간 추론 성능 향상
6. 운영 자동화 (LLMOps): 버전 관리, 모니터링, 자동 스케일링 등 안정적인 서비스 운영 전략

이 과정에서 ZenML, Qdrant 등 실무에서 활발히 사용되는 최신 도구와 기술 트렌드를 자연스럽게 익힐 수 있다는 것도 큰 장점입니다. 특히 최신 RAG 구조, DPO, 양자화 추론 등 지금 바로 실무에서 쓰이는 최신 기술 트렌드까지 한 권에 담아내려는 저자들의 노력이 엿보입니다.

이런 분들께 강력히 추천합니다:

• 챗GPT 활용을 넘어, 직접 AI 시스템을 만들고 싶은 LLM 개발자
• RAG, LoRA·QLoRA 등 최신 기법을 실습하고 싶은 AI 엔지니어
• LLMOps 기반으로 AI를 서비스에 안정적으로 배포·운영하고 싶은 ML 시스템 엔지니어
• 데이터 설계부터 배포까지 LLM 구축 전 과정을 체계적으로 배우고 싶은 기술 리더

"LLM 엔지니어링"은 이론과 실습의 완벽한 조화를 통해 독자가 실제 제품 수준의 AI 시스템을 직접 구축하는 여정을 성공적으로 완수하도록 이끄는 훌륭한 길잡이입니다. LLM 분야에서 한 단계 더 성장하고 싶은 모든 분들에게 일독을 권하며, 이 책을 통해 자신만의 혁신적인 LLM 애플리케이션을 만들어보는 짜릿한 경험을 해보시길 바랍니다.