한빛미디어

한빛미디어 서평단 ‘나는리뷰어다’ 활동을 위해 협찬을 받아 작성한 서평입니다.

요즘 대규모 언어 모델(LLM)은 일과 생활의 많은 부분을 바꾸고 있지만, 어떻게 질문하느냐에 따라 전혀 다른 답을 내놓는 존재이기도 하다. 그래서 프롬프트 엔지니어링이 중요하다. 이 책이 말하는 프롬프트 엔지니어링은 단순한 ‘명령어 작성법’이 아니라, 모델이 가진 잠재력을 최대한 끌어내고 그럴듯하지만 틀린 답을 줄이는 소통 설계 기술이다. 

특히 할루시네이션을 줄이려면 프롬프트만으로는 부족하고, RAG(검색 증강 생성)와 가드레일, 사후 검증을 함께 갖춘 세트 전략이 필요하다고 강조한다.

책은 먼저 할루시네이션을 사실적·논리적·문맥적 세 가지로 나누어 설명한다. 사실적 할루시네이션은 수치나 날짜 같은 사실을 틀리게 제시하는 경우, 논리적 할루시네이션은 추론 과정이 비약하거나 모순되는 경우, 문맥적 할루시네이션은 질문과 무관한 답을 하는 경우다. 결국 LLM의 답변은 항상 검증되어야 하며, 신뢰할 수 있는 데이터와 정교한 프롬프트 설계가 필수라는 메시지를 분명히 한다.

이어 LLM이 실제로 구축되는 과정을 트랜스포머 모델, 사전 학습, 지침 미세조정(Instruction FT), 정렬(Aligned)이라는 단계로 풀어준다. 우리가 사용하는 상용 모델은 이미 일정 수준의 정렬이 되어 있지만, 서비스 품질을 높이려면 여기에 프롬프트 설계와 검증 절차가 덧붙어야 한다고 설명한다.

성능을 끌어올리는 프롬프팅 기법으로는 제로샷과 푸샷, CoT(Chain-of-Thought), RAG의 네 가지를 핵심으로 다룬다. 제로샷은 예시 없이 지시만으로 빠르게 적용하는 방식이지만 복잡한 작업에는 흔들릴 수 있다. 반대로 푸샷은 몇 개의 좋은 예시로 기준을 학습시키는 방식으로, 관련성과 명확성, 다양성과 대표성, 형식 일관성이라는 세 가지 원칙을 지키면 성능을 안정적으로 끌어올릴 수 있다. 실제로 세 개의 예시만으로도 정확도가 크게 향상되는 사례가 소개된다. 

CoT는 정답만 내기보다 풀이 과정을 단계별로 생성하게 하여 복잡한 산술·코딩·논리 추론에서의 오류를 줄인다. 

RAG는 검색→증강→생성의 파이프라인으로 최신성과 근거성을 확보해 할루시네이션을 효과적으로 억제한다. 책은 o1-pro 같은 추론형 모델과 Perplexity 같은 검색형 서비스의 차이를 예로 들어, 목적에 따라 체감 성능이 달라진다는 점도 알기 쉽게 짚어준다.

프롬프트 엔지니어링 자체가 할루시네이션 예방 기술이라는 주장도 설득력 있게 전개된다. 트랜스포머의 셀프 어텐션 구조와 정렬 과정을 전제로, 역할·목표·출력 형식·제약을 명시한 프롬프트가 모델의 탐색 범위를 건강하게 제한하고 흔들림을 줄인다는 것을 다양한 예시로 보여준다. 추가로 데이터 품질 개선, 모델 아키텍처 개선, 사후 검증 같은 보완책을 비교해주는데, 현실적으로는 사후 검증이 가장 적용하기 쉽고 RAG와의 궁합이 특히 좋다고 정리한다. “근거 없으면 답하지 말라”, “불확실하면 확인 필요로 표시하라” 같은 규칙이 실제 서비스에서 얼마나 큰 효과를 내는지도 사례로 확인할 수 있다.

이 책이 실전서인 이유는 RAG·인덱싱·그라운딩·평가를 코드와 아키텍처 흐름으로 끝까지 보여주기 때문이다. LangChain을 이용해 디렉터리를 로드하고, 적절한 크기의 청크로 문서를 분할해 벡터 저장소에 넣는 인덱싱 파이프라인(Load→Split→Store)을 그대로 따라 해볼 수 있다. 

검색 단계에서는 질의 변환으로 사용자의 질문을 검색 친화적으로 바꾸고, 임베딩과 유사도 검색, 문서 분할로 가장 관련 문맥을 골라 증강 단계에서 답변과 함께 사용한다. 

무엇보다 “제공된 문맥에 근거가 없으면 답하지 말 것” 같은 그라운딩 프롬프트 규칙을 실제로 어떻게 쓰는지까지 보여줘 신뢰성을 확보하는 길을 구체화한다. 

에이전트 파트에서는 도구 호출, 메모리, 계획을 엮어 스스로 태스크를 수행하는 구조를 설명하며, 보고서 생성이나 로그 분석, FAQ 자동화 같은 업무에 어떻게 적용되는지도 감을 잡게 해준다. 성능 평가는 TruthfulQA, HaluEval, FEVER, FACTSCORE 등 진실성·근거성·사실성을 보는 벤치마크로 측정해야 함을 강조한다. 프롬프트 제약 조건과 온도(temperature)가 답변 품질에 미치는 영향도 예시로 보여주고, “파인애플의 모음 개수” 같은 간단한 문제에서도 CoT를 적용하면 오답이 정답으로 바뀌는 과정을 시각적으로 이해시킨다.

책의 장점은 다섯 가지로 요약된다. 

첫째, OpenAI·Gemini·LangChain 등 최신 도구와 프로젝트 예제가 촘촘해 실무에 바로 투입 가능한 신뢰성 높은 AI 서비스를 만드는 방법을 배울 수 있다. 

둘째, 프롬프트 엔지니어링, 데이터 품질·모델 아키텍처 개선, 사후 검증 등 할루시네이션 예방 전술을 실습 중심으로 익히게 해준다. 

셋째, RAG·지식 그래프·멀티에이전트 같은 최신 아키텍처와 도구를 프로젝트 수준으로 구현하며 경험할 수 있다. 

넷째, 백과사전 챗봇, 실시간 질의응답 에이전트, 주식 트렌드 분석 등 실전형 예제를 통해 단순한 모델 호출을 넘어 시스템 설계 역량을 키워준다. 

다섯째, 파이썬과 머신러닝 지식을 바탕으로 고급 프롬프팅과 평가·진단, 책임 있는 AI 설계까지 한 권으로 체계적으로 배울 수 있어 초보자부터 전문가까지 폭넓게 도움이 된다.

이 책을 특히 추천하고 싶은 독자는 정확성과 신뢰성을 높여야 하는 개발자와 엔지니어, 데이터 품질 관리와 RAG·지식 그래프·평가 체계를 운영 관점에서 적용해야 하는 MLOps·AI 서비스 담당자, 근거 제시가 중요한 리서치·리포팅 자동화를 고민하는 도메인 전문가와 콘텐츠 팀, 그리고 고비용 파인튜닝 대신 API+RAG+가드레일 조합으로 가성비 좋은 솔루션을 빠르게 만들고 싶은 스타트업이다.

읽으며 얻은 인사이트도 분명했다. 

첫째, 추론형과 검색형을 구분하면 도구 선택이 빨라진다. 

둘째, 프롬프트만으로는 부족하며 근거와 검증이 반드시 붙어야 한다. 

셋째, RAG의 성패는 문서 분할과 임베딩 품질이 절반을 좌우하니 청크 크기와 오버랩을 신중히 튜닝해야 한다. 

넷째, 벤치마크 평가는 선택이 아니라 필수로, ‘잘 말함’이 아니라 ‘바르게 말함’을 측정해야 한다. 

다섯째, “근거 없으면 모름” 같은 제약 문구가 품질을 실질적으로 끌어올린다.

좋았던 점으로는 도해와 캡션이 풍부해서 팀 온보딩 자료로 쓰기 좋고, 코드·아키텍처·프롬프트가 한 흐름으로 이어져 있다는 점, 그리고 “그럴듯한데 틀린 답”을 어떻게 잡는지 매우 구체적으로 안내한다는 점을 꼽겠다. 개인적으로는 RAG 운영 파트에서 관측과 품질 모니터링 사례, 특정 도구 조합의 비용–성능 트레이드오프 표가 조금만 더 있었으면 금상첨화였겠다는 아쉬움이 남는다.

한 줄 평을 하자면 “멋진 답변”이 아니라 “신뢰 가능한 답변”을 만드는 법을 설계–코드–평가까지 연결해주는 실전서다. 별점은 4.6점. 책에서 안내한 대로 RAG와 그라운딩, 가드레일을 구현하기만 해도 서비스 품질이 눈에 띄게 달라질 것이다. 요약하면, LLM의 최대 리스크는 할루시네이션이고, 프롬프트 설계와 RAG, CoT, 사후 검증이 현업에서 가장 가성비 좋은 조합이다. 이 전자책은 인덱싱부터 검색, 증강, 생성, 평가까지 엔드투엔드 관점을 놓치지 않고 잡아준다. 

정확성과 신뢰성을 높여야 하는 개발자와 엔지니어에게 분명히 추천할 만한 책이다.