한빛미디어

이 책은 인공지능이 단순히 모델을 만드는 기술이 아니라, 그것을 실제 서비스로 구현하고 사용자에게 신뢰받는 시스템으로 발전시키는 전 과정을 다루는 드문 저서다. 저자는 엔비디아, 스탠퍼드, 스노클 AI에서의 경험을 바탕으로 ‘AI 엔지니어링’이라는 개념을 명확히 정립하며, 이론보다는 현장에서 맞닥뜨리는 구체적인 문제들을 중심으로 이야기를 풀어나간다. 초반부에서는 대규모 언어모델의 발전이 불러온 변화를 짚으며, 단순한 API 호출로는 해결되지 않는 복잡한 문제들 속에서 왜 새로운 엔지니어링 패러다임이 필요한지를 차분히 설명한다. AI를 단순히 모델 수준의 기술로 보지 않고, 실제로 작동하고 개선되는 시스템으로 바라보는 사고 틀을 제시한다는 점이 특히 인상 깊었다.

가장 공감하며 읽은 부분은 모델 평가를 다룬 장이었다. 기존 머신러닝에서는 정확도나 F1 점수로 성능을 재단할 수 있었지만, 생성형 모델의 세계에서는 좋은 답변이란 무엇인가라는 훨씬 모호한 질문에 부딪힌다. 저자는 이런 불확실성 속에서도 데이터 기반의 지표를 설계하고, AI가 스스로 다른 모델을 평가하도록 하는 새로운 접근법을 제시한다. 실제로 나 역시 HCI 연구자로서 AI 시스템을 개발하며, 파일럿 테스트 과정에서 사용자의 피드백이 기존의 수치적 성능 평가와 어긋나는 경험을 여러 번 했다. 사용자는 모델의 정확도보다 대화의 일관성이나 피드백의 자연스러움을 더 중요하게 여겼고, 그 부분을 제대로 포착하지 못하면 시스템은 쉽게 신뢰를 잃었다. 이 책에서 제안하는 평가 방법론을 적용한 이후에는 단순히 정답을 맞히는 모델이 아니라, 신뢰를 설계하는 시스템이라는 관점으로 연구를 바라보게 되었다.

책의 중반부에서는 프롬프트 엔지니어링, RAG, 에이전트, 파인튜닝, 데이터셋 설계 등 각 기술 요소가 실제 제품 완성 과정에서 어떻게 맞물리는지를 단계적으로 설명한다. 단순히 기법을 나열하는 것이 아니라, 언제 어떤 접근이 적절한지를 스스로 판단할 수 있는 기준을 제시한다는 점이 돋보인다. 특히 파인튜닝 장에서는 모델을 조정하는 것이 항상 정답이 아니라는 사실을 명확히 짚는다. 내가 참여했던 공동 창작 지원 시스템 프로젝트에서도 모델의 반응이 불안정하다고 느껴질 때마다 파인튜닝을 시도했지만, 오히려 과적합이 발생해 일반 사용자 환경에서의 반응성이 떨어진 적이 있었다. 이후 이 책에서 제시하는 대로 검색 기반 보강과 컨텍스트 관리 방식을 도입했더니 시스템의 안정성과 응답 품질이 모두 향상되었다.

마지막 장은 AI 아키텍처를 전체적인 시야로 통합하는 내용을 담고 있다. 컨텍스트 보강, 가드레일, 모델 라우팅, 캐시 최적화, 에이전트 패턴 등 실제 시스템을 설계할 때 고려해야 할 요소들을 순차적으로 설명하며, 이론과 현장의 경계를 자연스럽게 연결한다. 특히 사용자 피드백을 기반으로 한 반복 개선 루프를 강조하는 부분이 깊이 남았다. HCI 연구를 하며 내가 가장 중요하게 여기는 부분도 바로 이 지점이다. 사용자 연구와 프로토타입 실험, 그리고 파일럿 테스트를 통해 얻은 피드백을 기술적 개선으로 연결하는 일은 결코 쉽지 않다. 지연 시간과 비용의 균형을 맞추는 문제, 모델 업데이트 이후 인터페이스 변화로 사용성이 흔들리는 문제 등 다양한 엔지니어링 과제를 직접 해결해야 했다. 책에서 제시하는 단계적 아키텍처 설계와 모니터링 전략은 이러한 어려움을 해소하는 데 큰 도움이 되었다.

결국 이 책은 단순한 기술 매뉴얼이 아니라, AI 프로덕트를 설계하는 사고방식을 길러주는 안내서다. 저자는 알고리즘의 세부보다는 문제를 정의하고 평가하며 개선하는 과정을 통해 엔지니어링의 본질을 보여준다. 빠르게 변하는 기술 환경 속에서 무엇을 우선순위로 삼아야 하는지 혼란스러웠던 나에게, 이 책은 방향을 잡아주는 나침반과 같았다. 특히 평가와 추론 최적화, 시스템 아키텍처를 다룬 장은 지금도 프로젝트를 설계할 때마다 다시 펼쳐보게 된다.

단순 개발과 모델 활용의 단계를 넘어 시스템의 아키텍처를 안정적으로 설계하고 구축하는 능력이 중요해진 지금, 이 책은 그 변화를 이해하고 실천할 수 있게 돕는 든든한 지침서다. 연구자든 개발자든, 이 책을 읽고 나면 기술과 현실, 이상과 실행의 사이에서 흔들리지 않을 중심을 갖게 될 것이다.