한빛미디어

"한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬받아 작성된 서평입니다."

"AI로 만든 서비스, 실제로 배포해도 될까?"
저는 AI 엔지니어로 취업을 준비하면서 부트캠프에서 LLM 기반 프로젝트를 진행했습니다.
데모할 때는 정말 그럴듯하게 작동했지만 실제 사용자에게 배포한다고 생각하면 솔직히 자신이 없었습니다.

같은 질문인데 답이 매번 달라지거나 답은 같아도 답변의 질이 다르거나, 없는 정보를 있다고 우기는 할루시네이션이 보이는 등 크고 작은 문제들을 찾아냈습니다.

"이게 내가 실제로 서비스라고 부를 수 있는 건가?"라는 생각이 계속 들었고, 저의 부족함을 느꼈습니다.

그리고 '에이전트 시대의 AI 시스템 설계' 책을 읽으면서 알게 됐습니다.

바로 설계의 문제였습니다.

'에이전트 시대의 AI 시스템 설계'는 바로 그 불편한 현실에서 출발합니다.

책의 서문은 이렇게 말합니다.

"이 책은 생성형 AI 모델 기반의 프로덕션 애플리케이션을 구축할 때 여러분이 마주할 이런 문제점들과 기타 여러 반복되는 문제들에 대한 모범관행과 해법을 담은 설계 패턴들을 소개한다"

서문의 이 한 문장은 제가 이 책을 읽게 만든 이유였습니다.

저자 발리아파 락슈마난과 하네스 하프케는 대규모 AI 시스템을 직접 배포한 현장 경험을 바탕으로, 프로토타입과 프로덕션 사이의 간극을 메우는 32가지 검증된 패턴을 9개 챕터에 걸쳐 정리했습니다.

이 책을 읽으면서 바로 머릿속에 떠오른 독자층은

첫 번째, AI 프로토타입은 있는데 실 서비스로 올리기가 어려운 개발자입니다.

API 연결해서 뭔가 그럴듯한 걸 만들어 봤는데, 막상 배포하려니 할루시네이션이 무서워서 망설이고 계신 분들은 패턴 '17: 심판형 LLM'과 '패턴 18: 성찰'을 통해 AI가 낸 답을 AI가 스스로 검증하고, 틀렸으면 스스로 수정하게 만드는 법을 알려줍니다.
심판형 LLM은 프롬프팅 접근법, 머신러닝 접근법, 미세조정 접근법을 소개함으로써 다양한 평가 방법들을 제시한다.
모델이 틀릴 수 있다는 걸 전제로 시스템을 설계하는 것, 그게 프로덕션 레벨 AI 엔지니어링의 시작입니다.

두 번째, 기업 내부 데이터를 AI에 연결하고 싶은 엔지니어입니다.
hallucination을 줄이기 위해 "내가 갖고 있는 자료를 AI가 참고해서 답해줄 수 없을까?"라는 고민을 해보신 분들도 있으실 거예요

이 책의 3~4장은 바로 그 문제를 해결하는 RAG(Retrieval-Augmented Generation, 검색 증강 생성)를 집중적으로 다룹니다.
3장은 기본적인 RAG에 대해 설명하고, RAG 파이프라인은 어떻게 해야 하는지 알려줍니다

단순한 Basic RAG(3장 패턴 6)부터, 더 정교한 검색이 필요한 상황에서의 심층 탐색 패턴 12까지. 자료, 내부 DB, 사내 자료를 AI가 실시간으로 참조해서 답하게 만드는 법을 단계별로 알려줍니다.

세 번째, AI 엔지니어를 목표로 준비하는 취업 준비생입니다.

면접관이 "AI 시스템 설계해 보신 적 있으세요?"라고 물었을 때 자신 있게 대답하고 싶은 분들입니다.

이 책은 OpenAI, Anthropic, Google, Meta 어떤 모델이든, LangChain, Pydantic AI, Hugging Face 어떤 프레임워크든 가리지 않는 다양한 예제를 담고 있습니다.

특정 회사 기술에 종속되지 않고 AI 시스템을 설계하는 사고방식 자체를 알려주기 때문에, 어떤 모델이 나오고 어떤 도구가 사라져도 오래 통하는 책입니다.

개인적으로 가장 인상 깊었던 부분은 9장의 패턴 32: 가드레일 였습니다.

가드레일이란 "시스템이 허용된 범위 내에서 작동하도록 보장함으로써 악의적인 행위자로부터 시스템을 보호하는 코드 모듈"을 얘기합니다

즉 AI가 위험하거나 잘못된 답변을 하지 못하도록 시스템 레벨에서 막는 안전장치를 구현하는 방법으로, 구글·아마존·메타 같은 빅테크에서 신뢰할 수 있는 AI 시스템 설계 능력을 중요하게 보는 이유를 이 챕터에서 제대로 이해할 수 있었습니다.

그리고 흐름들을 도식화를 통해 이해하기 쉽게 한 게 너무 좋았습니다.

이 책은 AI를 써보는 단계에서 AI로 실제 시스템을 만드는 단계로 넘어가고 싶은 모든 분들을 위한 가장 현실적인 책이라고 생각합니다.

프로토타입은 누구나 만들 수 있습니다.

하지만 실제로 돌아가는 AI 시스템을 설계할 수 있는 사람은 많지 않습니다.

그 차이를 만들어 주는 책, '에이전트 시대의 AI 시스템 설계' 추천합니다.