한빛미디어 서평단 <나는 리뷰어다> 활동을 위해서 책을 협찬 받아 작성된 서평입니다.



AI 엔지니어링은 파운데이션 모델을 기반으로 애플리케이션을 만드는 과정을 의미하는데, 전통적인 ML 엔지니어링이 모델 자체를 개발하는 것이라면, AI 엔지니어링은 이미 존재하는 모델을 활용한다. 더 강력한 파운데이션 모델을 이용할 수 있도록 하기 위해서는 AI 엔지니어링의 빠른 성장을 위한 3가지 요건이 필요하다. 다양한 분야에 AI를 활용할 수 있는 범용 AI 능력, 전세계적으로 AI 투자 증가, AI 애플리케이션 개발에 대한 낮아진 진입 장벽이 그것이다.

파운데이션 모델을 만들기 위해서는 대기업, 정부, 자금이 풍부한 스타트업만이 가능하다. 하지만, 파운데이션 모델을 통해 애플리케이션을 개발하는 것은 누구나 가능하며, 개발할 수 있는 잠재적 애플리케이션 수 또한 무궁무진하다.

다만 AI가 많이 사용될수록 그에 따른 부작용은 증가했다. AI 애플리케이션을 개발하는데 있어 가장 큰 어려움은 평가가 어렵다는 점이다. 또한, 파운데이션 모델은 개방형이어서 평가가 어렵기 때문에, 책에서 소개하는 사례들을 통해 각 모델들을 어떤 방식으로 평가할지 배운다면 도움이 될 것이다.  예를 들어, AI 평가자를 통해 모델을 평가한다고 해보자. AI 평가자는 확률적 특성 때문에 평가자 역할을 하기엔 신뢰성이 떨어진다고 느껴질 수 있다. 평가 결과가 일관되지 않고, 기준이 모호하거나, 각 기준마다 프롬프트 개수를 늘리면 비용이 증가하게 되며, AI 평가자 또한 편향을 가질 수 있다. 이를 해결하기 위해, 책에서는 AI 시스템 자체를 평가하는 여러가지 방법들을 소개한다. 실제 모델 평가에서 이 책의 4장 파트를 활용해볼 수 있을 것이다. 

이후, 프롬프트 엔지니어링, RAG와 에이전트, 파인튜닝, 데이터셋 엔지니어링, 추론 최적화 등 AI 엔지니어링의 기초부터 심화까지 이 책을 통해 한권에 정리할 수 있었다. AI 엔지니어로 신입 면접을 준비하거나, 지식에 빈곳이 있다고 느낀다면 내용을 천천히 정리하면서 성공적인 엔지니어로 거듭날 수 있을 것이다. 컴퓨터 구조나 네트워크 이론을 거의 몰라도 책에서 매우 자세히 AI 엔지니어링 이론을 하나의 교과서처럼 소개하고 있기 때문에 엔지니어링 수업을 듣는 것보다도, 이 책을 읽어보기를 추천하는 바이다.

#ai 엔지니어링 #oreilly #한빛미디어 #ai 엔지니어 #면접 #파인튜닝 #프롬프트 엔지니어링 #rag #agent #데이터셋엔지니어링



알파고 이후 인공지능 공부를 한 사람이라면 한번쯤 들어갔을 포켓몬이 그려진 그 블로그를 운영하는 카일님이 번역하신 책이라 읽기 전 부터 번역에 대한 걱정은 내려놓고 시작한 책입니다.

직접 데이터를 모으고 모데를 설계해서 학습 후 배포로 서비스하는 시대를 지나서 테크 기업들에서 나오는 오픈 파운데이션 모델을 이용한 서비스 개발 또는 활용이 메인이 된 시대에 우리가 어떻게 인공지능 모데를 대하고 다뤄야 할지 가이드를 제시하고 있습니다.

단순히 정확도, F1 점수 등으로 평가할 수 없어진 모델들, 점점 커지는 데이터셋을 어떻게 관리하고 효과적으로 다룰 것인지 등 품질, 커버리지 등 인공지능의 성능을 우리가 원하는 방향으로 높이는 것에 초점을 맞추고 있다.

인공지능 자체와 툴에 대한 학습을 위한 책이 아니라 정말 어떻게 잘 활용하고 엔지니어링 할 수 있을지에 대한 책이라서 gpt api는 불러왔는데 이제는 뭘해야하지 싶은 앞으로 과정이 막막한 분들에게 좋은 이정표가 될만한 책입니다.

한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.

Book Review

제품 중심의 AI 엔지니어링

저자는 책의 서두에서 기존 머신러닝이 얼마나 “모델 중심적” 사고에 갇혀 있는지를 지적한다. 이 책을 읽으면서 나도 그동안 얼마나 모델의 성능에만 집착했는지를 돌아보게 됐다. 저자는 AI 엔지니어링을 제품 중심(Product-centric) 접근으로 정의하면서, “무엇을 만들 수 있는가”가 아니라 “왜 만들어야 하는가”를 먼저 묻는다.

AI 시스템을 단순히 모델 학습으로 보지 않고, 애플리케이션 개발–모델 개발–인프라 구축이라는 세 층으로 나눠 설명하는 구성이 인상 깊었다. AI 애플리케이션을 처음 설계할 때부터 사용자의 문제와 요구를 가장 앞에 두어야 한다는 메시지가 크게 와닿았다.

특히 인상적이었던 건, 요즘 누구나 API 하나로 AI 프로토타입을 쉽게 만들 수 있는 시대지만, 그것을 ‘서비스로 운영 가능한 수준’으로 끌어올리는 일은 전혀 다르다는 점이다. 단순히 모델을 호출하는 코드 몇 줄이 아니라, 평가(Evaluation), 모니터링, 피드백 루프까지 포함해 “AI 시스템을 어떻게 안정적으로 성장시킬 것인가”에 초점을 맞춘 점이 좋았다. 책을 읽으면서 “AI 엔지니어링”이란 결국 모델의 정확도를 올리는 기술이 아니라, 사람이 실제로 신뢰하고 사용할 수 있는 시스템을 만드는 기술이라는 사실을 느꼈다.

평가와 운영

개인적으로 가장 좋았던 챕터는 3장이었다. 칩 후옌이 강조하는 평가(Evaluation) 부분은 이 책의 핵심이라고 생각한다. 나는 지금까지 모델의 성능을 측정할 때 정확도나 F1 스코어만 떠올렸는데, 이 책은 그것이 얼마나 좁은 관점인지를 보여준다.

3장에서는 파운데이션 모델의 개방형 특성을 다루면서, 하나의 입력에 여러 답변이 가능한 상황에서 **‘정답이 하나가 아닐 때 우리는 무엇을 기준으로 평가할 것인가’**라는 질문을 던진다. 단순한 수치보다 지연시간, 비용, 안전성, 편향, 사용자 경험 같은 요소를 함께 봐야 한다는 부분이 가장 기억에 남는다.

특히 저자가 제시하는 AI 평가자(AI as a Judge) 개념이 흥미로웠다. 모델이 모델을 평가하도록 하는 방법인데, 이 접근이 완벽하지는 않아도 현실적인 해법이라는 점에서 인상 깊었다. 이런 실험적인 아이디어를 통해 칩 후옌이 단순히 기술서가 아닌, “AI 시스템을 어떻게 사회에 녹여낼 것인가”를 고민하고 있다는 게 느껴졌다.

후반부에서는 API 기반 프로토타입이 어떻게 컨텍스트 보강 → 가드레일 추가 → 모델 라우터 구성 → 캐싱 및 피드백 루프 구축으로 발전해 가는지를 단계적으로 보여준다. 마치 작은 사이드 프로젝트를 점점 실제 서비스로 성장시키는 과정을 보는 듯해서 흥미로웠다. 이 부분을 읽으면서 나도 개인 프로젝트를 할 때 “평가와 피드백을 체계적으로 넣어봐야겠다”는 생각이 들었다.

대상 독자

• AI·ML 관련 전공자이지만 “AI 제품화(Production)” 관점이 궁금한 사람
• LLM·생성형 AI의 내부 작동 원리와 엔지니어링 관점을 체계적으로 정리하고 싶은 학습자
• FastAPI, LangChain, AWS 등 실무 기술과 연결된 AI 시스템 설계를 배우고 싶은 개발자
• AI 스타트업, 대학 연구실, 혹은 프로젝트 팀에서 실무 감각을 익히고 싶은 학생
• “머신러닝 시스템 설계”를 읽고 더 실무 중심의 후속 단계를 배우고 싶은 독자

AI 엔지니어링은 인공지능 기술을 단순히 모델 개발의 영역으로 한정하지 않고, ‘AI 시스템을 어떻게 설계하고 운영할 것인가’라는 관점에서 풀어낸 책입니다. 책은 크게 세 부분으로 구성되어 있습니다. 첫 번째는 AI 엔지니어링의 개념적 기반을 다루며, MLOps와 데이터 파이프라인, 모델 배포 전략 같은 핵심 개념을 명확히 정리합니다. 두 번째는 실제 환경에서 AI를 구축하고 유지하기 위한 실무 가이드를 제공합니다. 여기서는 데이터 수집과 전처리 자동화, 모델 학습 관리, 성능 모니터링, 그리고 지속적인 모델 개선 등 전체 수명 주기를 체계적으로 설명합니다. 마지막 부분은 조직 내 AI 프로젝트를 성공적으로 정착시키는 전략을 다룹니다. 기술적인 측면뿐 아니라 협업 구조, 품질 관리, 윤리적 고려 사항까지 함께 제시해 ‘AI 시스템의 생태계’를 완성도 있게 보여줍니다.

이 책의 가장 큰 강점은 ‘현실적인 접근’입니다. 저자는 AI를 구현하는 과정에서 겪을 수 있는 실제 문제들을 중심으로 설명합니다. 예를 들어, 데이터 품질 저하가 모델 성능에 어떤 영향을 주는지, 배포 후 모니터링 체계를 어떻게 설계해야 하는지, 그리고 모델 성능이 하락했을 때 어떤 지표로 원인을 추적할 수 있는지를 구체적으로 다룹니다. 또한 단순히 기술 스택을 나열하는 것이 아니라, 그 선택의 이유와 적용 시 주의할 점을 함께 설명해 엔지니어의 의사결정 과정을 자연스럽게 이끌어줍니다. 책의 문체도 지나치게 학문적이지 않으면서 실무자의 언어로 정리되어 있어, 복잡한 AI 시스템을 처음 다루는 독자라도 충분히 따라갈 수 있습니다.

AI 엔지니어링은 AI 개발의 다음 단계를 고민하는 사람에게 필요한 책입니다. AI 모델을 만드는 것에서 멈추지 않고, 이를 실제 환경에 안정적으로 배포하고 운영하는 일련의 과정을 구체적으로 안내합니다. AI를 기술로서가 아니라 시스템으로 바라보게 해주는 이 책은, 개발자와 기획자 모두에게 새로운 시각을 제공합니다. 복잡한 개념을 명쾌하게 정리하면서도 실무 경험이 녹아 있어, AI 시대에 엔지니어링 역량을 강화하고자 하는 모든 이에게 필독서로 추천할 만한 책입니다.

한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬 받아 작성된 서평입니다.

내용을 접하기도 전에 '옮긴이의 말', '지은이의 말'을 보면 좋은 책일 거라고 확신이 드는 그런 책들이 가끔 있습니다.
비교적 짧은 시간에, 대충 쓴 아무 책이 아니라 책의 구성부터 사례까지,
그리고 기왕이면 읽는 사람들이 이런 것까지 알았으면 하는 마음이 가득 담겨 있는 진짜 좋은 책이라고 느꼈습니다.

'칩 후옌' 저자님 책을 처음 접했는데요.

23년도에 출간되었다는 '머신러닝 시스템 설계'도 꼭 봐야겠다는 생각이 들었습니다.
왜 유독 더 좋았냐면..
- 책의 시야가 무척 넓다. 다른 책과 비교했을 때 차별점이 느껴졌다.
(이론적인 것 외에도 실무적인 지식이 많이 담겨 있다.)
 - 오픈 AI의 모델 성능이 나빠지고 있을까의 논의를 자료를 통해서 비교적 명확하게 설명해준다. 
 - 프롬프트 엔지니어링에 대한 책과 내용은 많이 나왔지만, 직무적으로 이렇게 설명을 잘 해주는 책은 처음 본 것 같다.
 - 어떻게/왜 생성형 ai에서 사용자 피드백을 받고 활용하는지 등등
- 중요한 ai 개념들도 다 짚고 넘어간다. 파운데이션 모델, RAG, 에이전트,  파인튜닝, 데이터 엔지니어링, 추론 등등

전통적인 ML을 경험해 본 적 있고, 현재 생성형 ai의 기반이 되는 기술과 원리를 알고 싶다면 꼭 읽어보시라고 권할 만한 책입니다!

"한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬 받아 작성된 서평입니다."

올해 인공지능 공부를 하겠다며 읽은 책들이 6-7권 정도 되고 이러닝 강좌 두 개, 오프라인 강좌 세 개, 오프라인 콘퍼런스까지 하면 정말 많은 시간을 AI 학습에 투자하였다. 그렇지만 거대한 학습 범위의 1/4도 알지 못하는 것 같다. 그런 상태에서 읽게 된 한빛미디어의 AI 엔지니어링 도서는 올해 연말이 되기 전 유종의 미를 맺는다는 전제하에 뭔가 뿌듯하게 만들어주는 깊이가 있다.
 

일단 너무 쉽지도, 너무 어렵지도 않다. 그렇다고 초보자에게 권하기보다는 중급자들에게 권하고 싶은 난이도를 가지고 있다. 그럴 수밖에 없는 것이 600 페이지에 육박하는 내용이기에 기본적인 내용만을 다룰 수 없기 때문이다.

1, 2장에서는 파운데이션 모델을 다룬다. 단지 사용뿐만 아니라 파인튜닝 방법과 샘플링 전략을 소개한다. 파인튜닝은 7장에서 다시 한번 깊게 다루는데 도구를 사용해 나의 데이터를 파일 업로드하고 진행하는 파인튜닝만 해본 나에겐 이론 부분은 여전히 어려운 영역이다.

3, 4장의 모델 평가 방법론과 AI 시스템 평가는 일단 스킵 하였다 (내가 아직 AI 모델이나 시스템을 평가할 레벨은 아니므로). 이 부분은 완독 챌린지를 진행하면서 다시 한번 정독할 예정이다.

5장은 요새 AI를 기술적으로 다루는 IT 엔지니어와 그렇지 않고 만들어진 도수를 사용만 하는 비엔지니어 모두에게 화자가 많이 되고 있는 프롬프트 엔지니어링을 다루었다. 많이 사용하는 챗GPT를 포함하여 프롬프트에는 여러 종류가 있고 그것을 정의하고 사용할 때 AI가 인식하는 나의 프롬프트 의도는 완전히 달라지면서 좀 더 내가 원하는 영역의 결과를 만들 수 있기 때문에 아래 종류에 대해 이해하고 활용하는 것이 중수로 업그레이드되는 지름길이다.

결과의 품질에 만족할 수 없는 경우 여러 방법이 있다. 이 또한 적절하게 활용할 줄 알아야 한다.
제로 샷에서 원샷, 퓨 삿 프롬프트로의 변경 (5장에서 다룸)
모델에게 생각할 시간 주기 (CoT, 5장에서 다룸)
RAG을 추가하여 외부 데이터를 활용 (6장에서 다룸)
모델의 파인튜닝 (7장에서 다룸)

이 도서엔 코드는 없으나 주석으로 링크가 달린 위키피디아와 챗GPT의 도움으로 RAG을 구현한 코드를 쥬피터 노트북으로 만들고 테스트해보았다.

어떤 IT 기술이든 새로 나오고 시장에서 각광받기 시작하면 대두되는 문제가 바로 보안(Security)인데 닷컴, 블록체인, 가상화폐, Web3.0 등도 그랬고 LLM과 AI도 마찬가지다. 그러면서 특히 LLM 시스템을 대상으로 하는 프롬프트 주입과 같은 공격이 늘어나면서 AI 전용 방화벽도 다양하게 시장에 속속 출시되고 있다.

5장 후반부에서 이 부분을 다뤄주었다. 비싼 도구를 적용하는 것보다 우선적으로 LLM 시스템에 시스템 프롬프트 방식의 지침과 애플리케이션 라우터 형식의 필터링을 통해 공격적/악의적 프롬프트 입력과 실행을 막는 것이 제일 중요한데, 그러기에 충분한 기본적 지식을 알려주고 있다. 이 부분은 다시 10장에서 가드레일이라는 개념으로 입력과 출력으로 나뉘어 악성 프롬프트가 들어오거나, 개인 정보가 유출되는 등의 위험을 어떻게 예방하는지 자세히 알려준다,

6장에서 드디어 RAG과 (AI) 에이전트를 다루기 시작한다. 이 책이 출시될 시점에 가장 저자의 주변인들이 먼저 찾던 내용이 RAG라고 한다. RAG는 LLM의 성능을 가장 빠르고 쉽게 개선할 수 있는 방법이다. 7장의 파인튜닝은 두고두고 바이블처럼 볼 내용들이 가득하다. 이 부분은 좀 더 정독을 하며 파고들어봐야겠다. 다시한번 챗GPT의 도움으로 RAG을 구현한 코드를 쥬피터 노트북에서 테스트해보았다. 역시 실습을 해보는것이 도서 내용을 정확하게 이해하는데 큰 도움이 된다.  RAG 후반부에는 멀티 모달 RAG을 다룬다. 즉 텍스트 뿐만 아니라 이미지, 영상, 첨부 파일 등을 통해 추가 정보를 얻어오는 방식이다.

8장에서는 데이터넷 엔지니어링을 다루는데, 이는 최고의 모델을 학습하기 위해 최고의 데이터 셋을 만드는 방법을 알려준다. 당장은 내가 직접 LLM 모델을 만들 일은 없겠지만 파인튜닝은 한다거나, 모델을 깊이 이해하거나, 작은 수의 파라미터를 가진 모델을 직접 만들며 이해를 해야 할 때 어떤 데이터 셋을 준비할지에 대한 기본 지식을 제공해 준다. 9장의 추론 최적화는 일단 추론 서비스의 성능 테스트 메트릭부터 설명해 준다. 이 정보들은 LLM 모델을 동일한 환경에서 성능과 품질을 비교하거나, GPU 성능 비교에 자주 사용되는 메트릭이기도 하다.

AI와 GPU는 떼려야 땔 수 없는 관계인데, AI 서비스 개발 시 GPU의 역할과 활용에 대한 자세한 내용을 찾을 수 있다.

10장에서는 AI 애플리케이션 개발 시 전반적인 시스템 아키텍처 설계에 대한 내용을 다루며 충실하게 이 도서의 마지막을 마무리하고 있다. OpenAI의 서드 파티 API를 호출하여 아주 간단하게 AI 애플리케이션을 개발하는 것부터 시작하여 여기에 RAG/에이전트를 추가하고, 보안을 위한 가드레일과 성능을 위한 캐싱 컴포넌트 등을 하나하나 붙이면서 전체 아키텍처를 개선하는 방법은 9장까지 배운 내용을 다시 한번 리마인드하게 해주면서 당장 사내에서 간단히 사내 프로젝트로 AI 서비스를 개발해 보려 할 때 적용할 수 있는 실무 내용을 담고 있다.

이 책은 AI를 학습하며 실무에서 활용해 보려는 엔지니어에게 바이블과 같은 도서라 할 수 있다. AI 개발 시 필요한 학습 토픽을 거의 다 다루었다. 다만 이 책엔 코드가 없다. 따라서 독자가 할 일은 허깅 페이스에 리스트 된 각 모델의 장단점을 스스로 이해하고 적당한 모델을 직접 찾아내어 랭체인과 같은 플랫폼을 통해 직접 AI 애플리케이션을 개발하는 것이다.

바이블이기 때문에 1독으로 모든 것을 내 것으로 만들 순 없다. 여러 번 반복 학습해야 한다. 다행히도 인프런에서 함께 학습하며 완독할 수 있는 챌린지가 만들어져 바로 수강 신청하였다.

올해 11, 12월에 역자분의 온라인 강의도 들을 수 있고 추가 학습도 제공한다니 이걸로 이 책을 마무리해야겠다. AI의 학습 곡선은 높고 넓어, 나의 수준에 빠르게 도움 될 수 있는 저자, 도서, 강사, 콘텐츠를 찾아 적절히 응용하는 게 매우 중요한데 그런 의미에서 이 도서는 매우 훌륭한 지침서 역할을 해주었다. 쌩유~!
 

"한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬 받아 작성된 서평입니다.

요즘 AI 공부를 하면서 실제로 Google AI Studio를 이용해 여러 애플리케이션을 만들어보는 연습을 하고 있다.

간단한 챗봇부터, 지뢰찾기나 서로 다른 그림 찾기 같은 게임까지  아이디어만 있었다면 이제는 금세 구현이 가능하다는 사실이 놀라웠다. 복잡한 코드를 작성하지 않아도 정말 아이디어만으로 이 모든 것이 가능했다. 

특히 최근에는 내가 즐겨보는 드라마 ‘폭군의 셰프’에서 영감을 받아 작은 게임을 만들어 보기도 했다.

https://blog.naver.com/usna7/224008509691

이 경험을 통해 느낀 건, 단순히 “모델을 불러 쓰는 일”이 아니라 그걸 어떻게 사용자 경험으로 연결할지 고민하는 과정이 중요하고 이 부분이 재미있었다.

파운데이션 모델 시대, 어떻게 진짜 AI 서비스를 만들 것인가?

AI 분야에 관심이 있다면 한 번쯤 이름을 들어봤을 칩 후옌(Chip Huyen).

그녀가 쓴 <AI 엔지니어링> “AI 모델을 어떻게 실제 서비스로 연결할 것인가?”에 대한 아주 현실적인 답을 제시해주는 책이다.

단순히 GPT API를 불러서 프롬프트 몇 개 짜는 수준이 아니라, “운영 가능한 AI 제품을 만드는 전체 과정”을 다루고 있다.

1장에서는 2020년 이후 AI 발전의 핵심 키워드인 “규모(Scale)”에 초점을 맞추고 있다.

GPT 같은 대규모 언어 모델(LLM)이 세상에 등장하면서, “이제는 AI 모델을 새로 만드는 게 아니라 이미 만들어진 모델을 어떻게 잘 활용하느냐”가 더 중요해졌다는 걸 강조한다. 여기서 등장하는 개념이 바로 "AI 엔지니어링(AI Engineering)"이다.

예전에는 머신러닝 엔지니어가 데이터를 모으고 모델을 처음부터 훈련시켰다면, 이제는 이미 학습된 대형 모델 위에 애플리케이션을 설계하고 최적화하는 게 핵심이다. 즉, AI 엔지니어링은 모델 개발이 아니라 모델 활용 중심의 엔지니어링이다.

칩 후옌은 이 과정에서 꼭 알아야 할 몇 가지 개념도 설명한다.

2장은 책의 중심 주제인 "파운데이션 모델(Foundation Model)"을 깊이 있게 다룬다. 이 개념은 스탠퍼드 연구팀이 2021년에 정립했으며, 거칠게 말하면 “여러 분야에 두루 적용할 수 있는 대형 AI 모델”을 의미한다.

기존 머신러닝 모델은 특정 목적(예: 스팸 필터링, 이미지 분류 등)에 맞춰 훈련됐다면, 파운데이션 모델은 수많은 데이터로 광범위하게 학습해서 다양한 작업에 활용될 수 있다. 즉, 하나의 파운데이션 모델로 여러 응용을 만들어 낼 수 있는 범용 엔진인 셈이다.

칩 후옌은 여기서 중요한 포인트를 짚어준다.

“우리가 직접 모델을 만들지 않더라도, 어떤 모델을 선택하고 어떻게 활용할지는 최소한 알아야 한다.”

모델의 학습 데이터나 후처리 방식이 결과 품질에 큰 영향을 주기 때문이다. 즉, AI 엔지니어는 모델의 구조를 이해한 후,  제품에 맞게 활용할 줄 알아야 한다는 메세지를 준다.

? 실무 중심의 AI 엔지니어링 가이드

이 책이 좋은 이유는, 단순히 이론만 다루지 않고 실제 서비스로 연결하는 구체적인 방법론까지 알려준다

칩 후옌은 AI를 단순히 “모델 호출” 수준에서 끝내지 않고, 어떻게 하면 안정적이고 지속 가능한 AI 시스템으로 발전시킬 수 있을지에 초점을 맞춘다. .즉, 완벽한 모델을 만드는 게 아니라, 실제로 돌아가는 AI 제품을 만드는 과정이 핵심이다. 

이 책은 인공지능이 단순히 모델을 만드는 기술이 아니라, 그것을 실제 서비스로 구현하고 사용자에게 신뢰받는 시스템으로 발전시키는 전 과정을 다루는 드문 저서다. 저자는 엔비디아, 스탠퍼드, 스노클 AI에서의 경험을 바탕으로 ‘AI 엔지니어링’이라는 개념을 명확히 정립하며, 이론보다는 현장에서 맞닥뜨리는 구체적인 문제들을 중심으로 이야기를 풀어나간다. 초반부에서는 대규모 언어모델의 발전이 불러온 변화를 짚으며, 단순한 API 호출로는 해결되지 않는 복잡한 문제들 속에서 왜 새로운 엔지니어링 패러다임이 필요한지를 차분히 설명한다. AI를 단순히 모델 수준의 기술로 보지 않고, 실제로 작동하고 개선되는 시스템으로 바라보는 사고 틀을 제시한다는 점이 특히 인상 깊었다.

가장 공감하며 읽은 부분은 모델 평가를 다룬 장이었다. 기존 머신러닝에서는 정확도나 F1 점수로 성능을 재단할 수 있었지만, 생성형 모델의 세계에서는 좋은 답변이란 무엇인가라는 훨씬 모호한 질문에 부딪힌다. 저자는 이런 불확실성 속에서도 데이터 기반의 지표를 설계하고, AI가 스스로 다른 모델을 평가하도록 하는 새로운 접근법을 제시한다. 실제로 나 역시 HCI 연구자로서 AI 시스템을 개발하며, 파일럿 테스트 과정에서 사용자의 피드백이 기존의 수치적 성능 평가와 어긋나는 경험을 여러 번 했다. 사용자는 모델의 정확도보다 대화의 일관성이나 피드백의 자연스러움을 더 중요하게 여겼고, 그 부분을 제대로 포착하지 못하면 시스템은 쉽게 신뢰를 잃었다. 이 책에서 제안하는 평가 방법론을 적용한 이후에는 단순히 정답을 맞히는 모델이 아니라, 신뢰를 설계하는 시스템이라는 관점으로 연구를 바라보게 되었다.

책의 중반부에서는 프롬프트 엔지니어링, RAG, 에이전트, 파인튜닝, 데이터셋 설계 등 각 기술 요소가 실제 제품 완성 과정에서 어떻게 맞물리는지를 단계적으로 설명한다. 단순히 기법을 나열하는 것이 아니라, 언제 어떤 접근이 적절한지를 스스로 판단할 수 있는 기준을 제시한다는 점이 돋보인다. 특히 파인튜닝 장에서는 모델을 조정하는 것이 항상 정답이 아니라는 사실을 명확히 짚는다. 내가 참여했던 공동 창작 지원 시스템 프로젝트에서도 모델의 반응이 불안정하다고 느껴질 때마다 파인튜닝을 시도했지만, 오히려 과적합이 발생해 일반 사용자 환경에서의 반응성이 떨어진 적이 있었다. 이후 이 책에서 제시하는 대로 검색 기반 보강과 컨텍스트 관리 방식을 도입했더니 시스템의 안정성과 응답 품질이 모두 향상되었다.

마지막 장은 AI 아키텍처를 전체적인 시야로 통합하는 내용을 담고 있다. 컨텍스트 보강, 가드레일, 모델 라우팅, 캐시 최적화, 에이전트 패턴 등 실제 시스템을 설계할 때 고려해야 할 요소들을 순차적으로 설명하며, 이론과 현장의 경계를 자연스럽게 연결한다. 특히 사용자 피드백을 기반으로 한 반복 개선 루프를 강조하는 부분이 깊이 남았다. HCI 연구를 하며 내가 가장 중요하게 여기는 부분도 바로 이 지점이다. 사용자 연구와 프로토타입 실험, 그리고 파일럿 테스트를 통해 얻은 피드백을 기술적 개선으로 연결하는 일은 결코 쉽지 않다. 지연 시간과 비용의 균형을 맞추는 문제, 모델 업데이트 이후 인터페이스 변화로 사용성이 흔들리는 문제 등 다양한 엔지니어링 과제를 직접 해결해야 했다. 책에서 제시하는 단계적 아키텍처 설계와 모니터링 전략은 이러한 어려움을 해소하는 데 큰 도움이 되었다.

결국 이 책은 단순한 기술 매뉴얼이 아니라, AI 프로덕트를 설계하는 사고방식을 길러주는 안내서다. 저자는 알고리즘의 세부보다는 문제를 정의하고 평가하며 개선하는 과정을 통해 엔지니어링의 본질을 보여준다. 빠르게 변하는 기술 환경 속에서 무엇을 우선순위로 삼아야 하는지 혼란스러웠던 나에게, 이 책은 방향을 잡아주는 나침반과 같았다. 특히 평가와 추론 최적화, 시스템 아키텍처를 다룬 장은 지금도 프로젝트를 설계할 때마다 다시 펼쳐보게 된다.

단순 개발과 모델 활용의 단계를 넘어 시스템의 아키텍처를 안정적으로 설계하고 구축하는 능력이 중요해진 지금, 이 책은 그 변화를 이해하고 실천할 수 있게 돕는 든든한 지침서다. 연구자든 개발자든, 이 책을 읽고 나면 기술과 현실, 이상과 실행의 사이에서 흔들리지 않을 중심을 갖게 될 것이다.

"한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬받아 작성된 서평입니다."

ChatGPT가 등장한 이후, AI는 더 이상 연구실의 실험 대상이나 특정 인들의 전유물이 아닙니다. 누구나 GPT-4, Claude, Llama 같은 파운데이션 모델을 API 하나로 사용할 수 있는 시대가 왔습니다. 하지만 "API를 호출하는 것"과 "실제로 사용자에게 가치를 주는 AI 서비스를 만드는 것" 사이에는 큰 차이가 있습니다. 칩 후옌의 『AI 엔지니어링』은 바로 그 차이를 좁혀주는 실전 가이드입니다.

전통적인 ML 엔지니어링과 무엇이 다른가?

이 책의 1장은 AI 엔지니어링이 기존 머신러닝 엔지니어링과 어떻게 다른지 명확하게 정리합니다. 전통적인 ML이 데이터 수집부터 시작한다면, AI 엔지니어링은 제품 요구사항을 먼저 이해하고 모델을 그에 맞게 적응시키는 방식입니다. 이는 단순한 순서의 변화가 아니라, 사고방식 자체의 전환입니다.

저자는 AI 엔지니어링 스택을 세 계층으로 나눕니다: 애플리케이션 개발, 모델 개발, 인프라. 이 구조를 이해하면 "내가 지금 어떤 레벨의 문제를 다루고 있는가"를 명확히 파악할 수 있습니다.

2장: 파운데이션 모델의 기초부터 탄탄하게

2장에서는 마스크드 언어 모델, 자기회귀 언어 모델, 자기지도학습 같은 핵심 개념들을 다룹니다. 단순히 "GPT가 뭐다"라는 표면적 설명이 아니라, 이런 모델들이 왜 대규모 데이터셋을 필요로 하는지, 데이터의 품질이 모델 성능에 어떻게 직접적인 영향을 미치는지를 설명합니다. 특히 실제 학습 데이터에 포함된 클릭베이트, 허위정보, 음모론 같은 문제들을 어떻게 필터링해야 하는지도 다룹니다.

3-4장: 평가의 중요성 - AI가 많이 쓰일수록 더 중요해진다

AI가 많이 사용될수록 치명적인 실패가 발생할 기회도 많아지므로, 평가의 중요성이 더욱 커진다고 저자는 강조합니다. 
3-4장에서는 오픈엔디드 모델을 평가하는 다양한 방법론을 다루는데, 특히 최근 급성장하고 있는 "AI-as-a-judge" 접근법을 상세히 설명합니다.

단순히 정확도 숫자 하나로 모델을 평가하기보다 생성형 AI의 출력물은 정답이 여러 개일 수 있고, 창의성, 유용성, 안전성 등 다양한 측면을 고려해야 합니다. 이 장은 여러분이 만든 AI 챗봇이 "정말 잘 작동하는가"를 어떻게 판단할지 구체적인 방법을 제시합니다.

5-10장: 실전 기술의 모든 것

책의 후반부는 실제 AI 애플리케이션을 만드는 데 필요한 모든 기술을 단계별로 다룹니다.

5장 프롬프트 엔지니어링은 단순한 프롬프트 작성 요령만을 알려주기보다 시스템 프롬프트, 사용자 프롬프트, 도구 프롬프트의 우선순위와 역할을 설명하고, 컨텍스트 길이 제한(1천~100만 토큰) 안에서 어떻게 효과적으로 정보를 배치할지를 다룹니다.

6장 RAG와 에이전트는 여러분의 프로젝트에 직접적으로 도움이 될 부분입니다. 

RAG(검색 증강 생성)는 외부 데이터를 모델에 연결하는 핵심 기술로, 회사 작업 데이터를 챗봇에 연결하는 여러분의 업무와 정확히 일치합니다. 저자는 단순히 "RAG를 쓰세요"가 아니라, 청킹 전략, 임베딩 선택, 검색 최적화까지 실무에서 마주치는 구체적인 문제들을 다룹니다.

7장 파인튜닝에서는 LoRA 같은 효율적인 파인튜닝 기법을 설명하고, 언제 프롬프트 엔지니어링으로 충분하고 언제 파인튜닝이 필요한지 판단 기준을 제시합니다.

8장 데이터셋 엔지니어링은 합성 데이터 생성, 데이터 증강, 데이터 품질 관리 등을 다루며, 제한된 데이터로도 좋은 성능을 내는 방법을 알려줍니다.

9장 추론 최적화는 레이턴시와 비용이라는 두 가지 병목을 해결합니다. 양자화, 증류, 병렬화 같은 기법들을 통해 M1 맥북에어 같은 제한된 환경에서도 효율적으로 모델을 실행하는 방법을 배울 수 있습니다.

10장 AI 엔지니어링 아키텍처는 전체 시스템 구조와 사용자 피드백 수집을 다루며, 프로덕션 환경에서 AI 서비스를 어떻게 설계하고 운영할지를 보여줍니다.

이 책은 어떤 사람들에게 추천할 수 있을까요

1. 개발 인턴으로 일하는 여러분처럼, 실전 프로젝트를 진행 중인 분들
책의 구조가 실제 프로젝트 흐름과 정확히 일치합니다. 요구사항 분석 → 모델 선택 → RAG 구축 → 평가 → 최적화 순서로 읽으면, 여러분의 5개월 인턴 프로젝트를 체계적으로 완성할 수 있습니다.

2. API 호출은 할 줄 아는데, 그 다음이 막막한 개발자들
"OpenAI API를 호출했는데, 이제 뭘 해야 하지?"라는 질문에 대한 완벽한 답을 제공합니다.

3. AI 스타트업 팀원들
저자가 NVIDIA, Snorkel AI, Netflix에서 일하고 스타트업을 창업한 경험을 바탕으로, 제한된 리소스로 최대 성과를 내는 실용적인 전략들을 공유합니다.

4. 기술 공부를 이제 막 시작한 학생들
파이썬만 조금 할 줄 안다면 충분합니다. 책은 기초 개념부터 차근차근 설명하며, 복잡한 수학보다는 실용적인 구현에 초점을 맞춥니다.

개인적으로 생각하는 이 책의 특별한 점은

이 책은 O'Reilly 플랫폼에서 출시 이후 가장 많이 읽힌 책이며, 중국어, 프랑스어, 일본어, 한국어, 폴란드어, 러시아어로 번역되고 있습니다. 이는 단순한 인기가 아니라, 전 세계 AI 엔지니어들이 이 책의 가치를 인정한다는 의미입니다.

저자는 1,200개 이상의 레퍼런스와 1,000개 이상의 GitHub 저장소를 참고했으며, 각 장마다 실제 케이스 스터디를 제공합니다. 이는 튜토리얼 책이 아니라 프레임워크 책입니다. "이렇게 코딩하세요"가 아니라 "이런 질문을 던지며 최선의 해결책을 찾으세요"를 알려줍니다.

AI 기술은 빠르게 변화하지만, 좋은 AI 애플리케이션을 만드는 원칙은 변하지 않습니다. 『AI 엔지니어링』은 유행을 좇는 책이 아니라, AI 엔지니어로서 갖춰야 할 본질적인 사고방식과 체계적인 접근법을 알려주는 책입니다. 모든 AI 개발자 지망생들에게 이 책은 최고의 투자가 될 것입니다.

 "한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬 받아 작성된 서평입니다."

오늘은 한빛미디어에서 발간한 'AI 엔지니어링' 책 서평을 작성해보겠습니다!!

저는 AI 기술에만 관심이 있지 개발과 관련된 지식은 1도 없는 대학생인데욥!

연구되거나 아이디어로 존재하는 AI 기술이 어떤식으로 실제 서비스에 구현이 되는지 궁금증이 생겨 해당 책을 읽게 되었습니다!

이 책은 간단히 말해서 AI 모델 특히 요즘 핫한 파운데이션 모델을 활용해서 어떤식으로 AI 어플리케이션을 구축할 수 있는지 기획부터 설계, 운영, 개선까지의 전 과정을 총 망라한 책입니다

해당 책의 목차는 다음과 같은데요​
크게 10개 챕터로 구성되어 있습니다!

# 목차

1장 파운데이션 모델을 활용한 AI 애플리케이션 입문
2장 파운데이션 모델 이해하기
3장 평가 방법론
4장 평가 파이프라인 설계와 구축
5장 프롬프트 엔지니어링
6장 RAG와 에이전트
7장 파인튜닝
8장 데이터셋 엔지니어링
9장 추론 최적화
10장 AI 엔지니어링 아키텍처와 사용자 피드백

책의 초반 부분에서는 파운데이션 모델의 기본 개념을 다루는데요

이론서는 아니지만, 학습 데이터, 모델링, 사후 학습, 샘플링 같은 핵심 개념들을 수식 없이도 이해할 수 있게 잘 설명해줍니다! 

이후에는 AI 모델을 평가하는 방법에 대헤 다뤄지는데욥 퍼플렉시티(Perplexity, PPL) 같은 전통적인 지표부터 특히 제가 인상깊게 느꼈던 AI 평가자(AI-as-a-judge)라는 개념을 소개합니다

LLM을 쓰다 보면 이게 잘 나온 건가? 잘 답변을 하고 있는건가? 감으로만 판단하기 쉽지만, AI 평가자(AI-as-a-judge)라는 개념을 통해 LLM을 활용해서 다른 모델의 성능을 평가한다고 합니다!

다음으로 AI 앱의 성능을 끌어올리는 여러 핵심 기술에 대해 다루고 있는데요 프롬프트 엔지니어링, 요즘 핫한 RAG(Retrieval-Augmented Generation)와 파인튜닝을 다루고 있습니다

마지막에서는 프로덕션 단계에서 실제 어플리케이션 구축시에 고려해야할 점들을 딥하게 다루고 있습니다! 

특히 유용했던 점은 깃허브를 통해 예제 코드, 참고논문과 같은 보충자료를 확인할 수 있습니다! 

https://github.com/chiphuyen/aie-book

# 그래서 누구에게 추천하는가?

아무래도 해당 책으로 통해 ML이론, 파운데이션 모델과 같은 이론적 측면을 공부하기 보다는, 어떤식으로 AI 모델 특히, 파운데이션 모델이 서비스로 구축되는지, AI 어플리케이션 서비스 관점에서 궁금하신 분 혹은 파운데이션 모델을 이용하여 간단한 AI 애플리케이션을 직접 만들어보고 싶은 분들에게 가이드라인을 제시해줄 수 있는 책입니다!

한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬 받아 작성된 서평입니다

AI 엔지니어링

한빛미디어에서 발간된 번역서 AI Engineering은 책 표지의 내용을 아주 잘 담고 있습니다. 말 그대로 "파운데이션 모델을 활용한 시스템 설계부터 개선까지, AI 앱 개발 원스톱 가이드"입니다. 책은 AI 엔지니어링의 배경에 대해 설명하고 파운데이션 모델에 대해 깊이 있는 통찰을 줍니다. 단순히 파운데이션 모델을 활용하는 것을 넘어 RAG를 활용한 아키텍처 그리고 파인튜닝 방법론까지 세세히 다루고 있어요. 책의 도입부에 다음과 같은 내용이 있습니다. 소프트웨어 엔지니어라면 비단 AI 제품뿐만이 아니라 어떤 프로그래밍을 하던지 비슷한 일을 겪습니다. 성능을 70%에서 90%으로 올리는 것은 쉽지만 95%에서 97%로 올리는 것은 아주 어려운 일인 것처럼요.

AI 제품을 기획할 때는 특히 마지막 단계의 어려움을 고려해야 한다. 파운데이션 모델로 얻은 초기 성공은 오해의 소지가 있다. 파운데이션 모델의 기본 성능이 이미 꽤 좋아서 재미있는 데모를 만드는 데는 많은 시간이 걸리지 않을 수 있다. 하지만 좋은 초기 데모가 좋은 최종 제품을 보장하지는 않는다. 데모를 만드는 데는 주말이 걸릴 수 있지만 제품을 만드는 데는 몇 달, 심지어 몇 년이 걸릴 수 있다.

특히 재밌는 파트는 "3장 평가 방법론"과 "4장 AI 시스템 평가하기"입니다. 요즘처럼 AI가 안 붙는 서비스가 없는 시대에 엔지니어링 조직에 중요한 과제는 품질 평가일 텐데요. AI를 서비스에 녹여내면서 생성형 AI의 응답을 어떻게 신뢰하고 평가할 것인가에 대한 다양한 방법과 생각할 거리를 제시해 줍니다. AI 서비스를 개발하고 있다면 어쩌면 이미 체득해서 사용하고 계신 곳도 있을 거고 그렇지 않은 곳도 있을 겁니다. 모르긴 몰라도 좀 더 표준화된 용어와 다듬어진 방법을 이 책을 통해 배우실 수 있을 거라고 생각합니다. 

5장 프롬프트 엔지니어링도 기억에 남습니다. 인터넷에 떠도는 다양한 썰을 응집한 결과물 같았어요. 예를 들어, 프롬프트를 해킹하기 위한 다양한 시도가 책에 녹아있어서 역사책을 보는 느낌이었습니다. 돈을 줄 테니 답변해달라거나 DAN(Do Anyting Now) 프롬프트 기법 등이 대표적이겠습니다. 그리고 왜 그것들이 요즘은 잘 먹히지 않는지도 간략히 언급됩니다. 여전히 많은 사람들이 프롬프트 엔지니어링의 허상에 대해 이야기합니다. 일부 과장은 됐다고 생각하지만 허상이라고 생각하지는 않아요. 책에 아래와 같은 구문이 있는데 제대로 와닿았습니다. 주변에 꼭 보여주고 싶은 문장입니다.

문제는 프롬프트 엔지니어링 자체에 있지 않다. 프롬프트 엔지니어링은 분명히 가치 있고 유용한 기술이다. 하지만 진짜 문제는 사람들이 프롬프트 엔지니어링만을 유일한 도구로 알고 있을 때 발생한다.

책의 구성에 코드는 거의 없습니다. 또한 직접적인 구현이나 설계는 언급되지 않습니다. 개념과 방법론으로 똘똘 뭉쳐진 책이라고 보는 게 좋을 거예요. 그렇기 때문에 프로그래밍 언어나 SQL에 친숙하지 않더라도 이 책을 읽는데 어려움은 없을 겁니다. 파인튜닝에 대한 개념을 이 책을 통해 확실히 알았다면 그것을 실습하기 위한, 혹은 구체적인 방법은 따로 찾아보셔야 합니다. 아마 그런 내용까지 다 담았다면 이 책은 훨씬 더 두꺼워졌겠죠. 지금도 579 페이지를 자랑하는데요. 다행히 각 장이 깊이 연결되지 않기 때문에 순서대로 보지 않으셔도 됩니다. 필요한 부분이나 더 빨리 읽고 싶은 곳이 있다면 페이지를 넘기셔도 됩니다. 

현재 시대에 AI 엔지니어링을 딱 한 권으로 공부하고 싶다면 이 책을 일독하시기를 바랍니다. 저도 아마 책장에 두고 종종 재독 할 것 같네요. :) 



한빛미디어 서평단 <나는리뷰어다> 활동을 위해서

책을 협찬 받아 작성된 서평입니다.

AI 엔지니어링 -파운데이션 모델 시대의 새로운 기준서

안녕하세요.

오늘은 생성형 AI 시대에 꼭 읽어야 할 실무 가이드, AI 엔지니어링을 소개하려 합니다.

이 책은 단순히 AI를 어떻게 쓸까?가 아니라, AI를 어떻게 시스템으로 설계하고 운영할까를 다루는 책입니다.

파운데이션 모델, 프롬프트 엔지니어링, RAG, 파인튜닝 등 지금의 AI 생태계를 실제로 ‘작동하게’ 만드는 기술과 개념이 체계적으로 정리되어 있습니다.

1. 파운데이션 모델에서 AI 엔지니어링으로

책의 첫 장은 언어 모델(LLM)에서 시작해 파운데이션 모델, 그리고 AI 엔지니어링으로 발전해 온 흐름을 설명합니다. 단순히 모델을 잘 쓰는 기술서가 아니라 AI를 제품처럼 설계하는 사고방식을 다루는 점이 인상적이었습니다.

코딩, 이미지 제작, 글쓰기, 교육, 대화형 챗봇, 데이터 체계화, 자동화 등 다양한 활용 사례를 보여주며, AI 애플리케이션을 어떻게 기획하고 운영해야 하는지를 구체적으로 알려줍니다.

2. 실무 중심의 구성, 즉시 활용 가능한 로드맵

AI 엔지니어링의 가장 큰 장점은 실무자 중심의 구성입니다. 5장의 프롬프트 엔지니어링에서는 명확한 지시 작성, 컨텍스트 제공, 단계적 문제 분해, 모델에게 ‘생각할 시간’을 주는 방법 등을 세밀히 다룹니다. 6장의 RAG와 에이전트, 7장의 파인튜닝, 8장의 데이터셋 엔지니어링에서는 실제 프로젝트에 필요한 기술적 선택과 트레이드오프를 비교해 주며, 단순한 이론이 아니라 현업의 의사결정 가이드로 작동합니다.

3. 평가(Evaluation)에 집중한 유일한 AI 실무서

특히 이 책의 백미는 3장과 4장, 평가 파트입니다. AI의 품질을 유지하기 위해서는 성능 지표, 참조 데이터 유사도, 임베딩, AI 평가자 등 다양한 평가 체계를 설계해야 하는데, 이 부분을 별도의 장으로 다루며 깊이 있게 설명합니다.

모델이 잘 되는 것 같다는 감이 아니라 데이터 기반 의사결정의 원칙을 세울 수 있게 해줍니다.

4. 운영, 최적화, 그리고 사용자 피드백까지

후반부에서는 AI 시스템을 실제 환경에 배포할 때 고려해야 할 요소들을 다룹니다. 지연 시간(latency), 비용 최적화, 모델 라우팅, 캐시 전략 등 운영단의 현실적인 과제들을 꼼꼼하게 짚고, 사용자 피드백을 반영해 시스템을 지속적으로 개선하는 루프를 제시합니다. 즉, AI를 만드는 책이 아니라 AI를 운영하는 법을 알려주는 책입니다.

총평

『AI 엔지니어링』은 단순한 기술서가 아닙니다. AI의 개념, 구조, 운영, 평가를 하나의 유기적 시스템으로 엮은

현대적 AI 교과서이자 실무 가이드입니다. AI 제품을 “만드는 것”에서 “유지하고 발전시키는 것”으로 관심을 옮겨가는 모든 실무자에게 권하고 싶은 책입니다. AI를 조금이라도 다뤄봤다면, 이 책이 왜 ‘AI 시대의 필독서’로 불리는지 금세 느끼실 겁니다.

#AI엔지니어링 #한빛미디어 #칩후옌 #LLM #RAG #프롬프트엔지니어링 #파인튜닝 #AI개발 #AI시스템 #나는리뷰어다



“한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬받아 작성된 서평입니다.”

ChatGPT가 나온 이후로 생성형 AI를 여기저기서 써보면서 '이걸로 뭔가 만들어보고 싶다'는 생각이 들었습니다. API 호출 정도는 해봤는데, 막상 제대로 된 서비스를 만들려니 어디서부터 손대야 할지 감이 안 잡히더라고요. 그러던 중 《머신러닝 디자인 시스템》의 저자인 칩 후옌의 《AI 엔지니어링》이 출간된다는 소식을 듣고 정말로 읽고 싶었던 책이었는데, 드디어 읽게 되었네요.

책이 생각보다 두꺼워서 처음엔 좀 놀랐습니다. 500페이지가 넘는데, 각 장마다 정말 빼곡하게 내용이 들어있더라고요. 저자가 엔비디아와 같은 회사에서 일한 경험과 스탠퍼드 대학에서의 강의했던 경험을 다 녹여낸 느낌이었습니다. 책은 꼭 순서대로 읽을 필요 없이 필요한 부분부터 찾아 읽어도 되게 구성되어 있어서 좋았습니다.

책에서 가장 인상 깊었던 것은 AI 시스템을 받치는 기반 기술들을 체계적으로 다룬다는 점입니다.
'쓰레기를 넣으면, 쓰레기가 나온다'는 원칙이 단순해 보이지만, 실제로 데이터 수집부터 정제, 레이블링까지의 과정을 보니 왜 데이터 엔지니어링이 중요한지 체감할 수 있었습니다. 특히 합성 데이터 생성이나 데이터 품질 평가 같은 실무적인 부분이 유용했습니다.
그리고 모델 스케일링 문제도 흥미로웠습니다. 막연히 클수록 좋다고 생각했는데, 모델이 점점 커지면서 데이터가 부족해질 거라는 전망이나 AI 전력 소비가 환경 문제로 이어질 수 있다는 구체적인 수치를 보니 심각성이 느껴졌네요.
마지막 장에서는 AI 아키텍처 설계 부분에서는 단순한 API 호출에서 시작해서 라우팅, 게이트웨이, 캐시를 하나씩 추가하면서 시스템이 어떻게 복잡해지는지 보여줍니다. 실제 애플리케이션 구축 과정을 이해할 수 있었습니다.

이론적 기반을 다룬 뒤엔 실무에서 바로 써먹을 수 있는 기술들로 넘어가는데, 프롬프트 엔지니어링 장이 특히 실용적이었습니다. 정보 추출과 SQL 인젝션과 유사한 프롬프트 공격을 다루며 보안의 중요성을 강조하는 점이 좋았습니다.
그리고 요즘 대세인 RAG(검색 증강 생성)와 에이전트 구축 부분은 여러 번 읽었습니다. 'RAG가 뭐다'는 식의 정의가 아니라, 실제로 어떻게 설계하고 어떤 점을 주의해야 하는지 구체적으로 나와 있어서 나중에 실무에서 참고하기 좋을 것 같습니다. 검색 품질을 높이는 방법과 같은 실전 노하우가 담겨 있었습니다.

"많은 AI 과제는 본질적으로 시스템 문제다. 

그래서 이를 해결하려면 종종 한 걸음 물러서서 시스템 전체적으로 바라보는 것이 필요하다"
《AI 엔지니어링》, 566p

아쉬운 점도 있긴 했습니다. 평가 방법론(3장)과 파인 튜닝(7장)은 솔직히 한 번에 다 이해하기 어려웠습니다. 기술적으로 꽤 깊이 들어가는 내용이었는데, 다행히 《밑바닥부터 만들면서 배우는 LLM》을 같이 읽고 있어서 이해할 수 있었습니다. 반면에 AI/ML 기초가 전혀 없다면 이 부분은 정말로 어렵게 느껴질 것 같네요.

또한 코드 예제가 거의 없다는 점도 조금 아쉬웠네요. 저자가 빠르게 변하는 기술의 구현보다는 개념에 집중한 덕분에 튜토리얼을 따라 하며 결과물을 만들고 싶은 분에겐 답답할 수 있지만, 반대로 유행이 지나도 참고할 수 있는 원칙과 설계를 배우고 싶은 분에겐 오히려 장점이라고 생각합니다. 구현은 블로그나 문서로 배우고, 이 책은 '왜 이렇게 만들어야 하는가'를 이해하는 용도로 쓰면 맞을 것 같습니다. 《AI 엔지니어링》은 API 사용 경험이 있고 본격적인 AI 서비스 구축을 원하는 개발자에게 적합한 책이었습니다. 한 번에 다 읽기보단, 필요할 때마다 꺼내서 참고하는 레퍼런스로 쓰면 좋을 듯합니다.

"한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬 받아 작성된 서평입니다."

이번 책은 성윤님이 번역하신 책이여서 특히나 당첨이 되기를 바란 책이였다

책 내용이 너무나 좋아서 번역을 하셨다고.. 내용은 이름 그대로 AI/LLM 에 대해 엔지니어링을 다루는 책

저자인 칩 후옌은 이전 책 '머신러닝 시스템 설계' 도 쓰셨는데 이 책도 언젠가 보면 좋겠다 라고 생각만 하고 있었다

먼저 책의 초반부를 보는데 좋았던 점은 이 책은 어떤 책이고 어떤 목적으로 활용하면 좋으며 어떤 개념들을 알고 있으면 더 좋을지, 어디를 중점적으로 보면 좋을지, 대상 독자와 학습 방법을 잘 설명해주었다는 점이다

물론 대부분의 개발책이 어떤 목적이고, 내용을 다루고, 대상 독자인지 서론에서 다루지만 이 책에서는 더 명확하게 짚어주었다는 점이 인상깊었다

맘 같아선 여유롭게 책에 집중해서 보고 싶지만... 다른 공부들, 봐야할 책들이 너무나 많기에 성윤님이 앞에 적어주신 내용대로 핵심적인 내용을 담고있는 특정 챕터들 위주로만 살펴보려 한다

옮긴이의 말에서 책의 핵심 내용들을 잘 정리해주셔서 참고하면 좋은 문단들을 가져와봤다

...
책은 총 10장으로 구성되어 있고, AI 애플리케이션의 정의와 파운데이션 모델을 활용해 쉽게 애플리케이션을 만들 수 있다는 이야기로 시작합니다.
이어서 파운데이션 모델의 핵심 개념을 정리하고 평가에 대해 자세히 다룹니다. 실무에서 가장 어려운 부분이 평가인데, 저자를 포함해 수많은 엔지니어의 경험을 토대로 평가 전반을 잘 정리했습니다. 
그 후 프롬프트 엔지니어링, RAG, 에이전트, 파인튜닝을 다루고, 데이터셋 엔지니어링, 추론 최적화, AI 아키텍처 설계, 사용자 피드백까지 이어집니다. 특히 좋았던 부분은 평가와 추론 최적화, AI 엔지니어링 아키텍처입니다.
거시적인 이해부터 시작해 실무에서도 도움이 될 내용이 있어 세 번 이상 읽었습니다.

이 책을 읽을 때, 독자 여러분이 겪고 있는 문제가 무엇인지 먼저 고민해보고 해당 고민을 기반으로 이 책을 읽길 권합니다.

...
각자 겪는 문제를 기준으로 책의 순서를 재구성해서 읽어도 괜찮습니다. 현재 겪고 있는 문제를 다루는 장이 있다면 그 부분부터 읽어도 분명 많은 도움이 될 것입니다.

만약 시간이 한정돼 있다면, 다음 장들을 꼭 읽기를 권합니다.

1장, 2장, 3장, 4장, 10장. 이 다섯 장은 특히 핵심적인 내용을 담고 있습니다.
이 분야를 하고 있다면 꼭 알아야 할 내용입니다. 3장과 4장은 평가를 다루는데, 평가가 매우 중요하지만, 많이들 간과하는 부분이므로 꼭 읽는 것을 추천합니다.
10장은 아키텍처의 발전 상황을 실용적으로 다루는데, 자신이 만들고 있는 서비스가 어떤 아키텍처를 따르고 있는지 보는 것도 의미가 있습니다.

...
전통적인 ML에서는 데이터 파이프라인 구축, 특성 공학, 모델 학습, A/B 테스트가 주요 고민이었다면, LLM에서는 프롬프트 엔지니어링, 컨텍스트 관리, 토큰 비용 최적화, 환각 대응 같은 새로운 문제들이 생겼습니다. 특히 평가 방법은 훨씬 까다로워졌습니다.
정확도나 F1 점수로 명확히 판단되던 것들이, LLM에서는 '이 답변이 정말 좋은 답변인가?' 라는 모호한 질문과 마주치게 됩니다.
 

해당 책은 코드를 직접 다루는 실습이나 예제는 없고 구현과 기술 숙달보다는 엔지니어링에 집중되어 있는 책이다

주로 LLM, LMM을 포함한 파운데이션 모델을 애플리케이션에 적용하는 방법을 다루고 있다

책이 답해줄 수 있는 질문에는 여러 가지가 있다

- 이 AI 애플리케이션을 왜 만들어야 할까? 어떻게 평가할까?
- 환각은 왜 발생하고 어떻게 탐지해서 완화할 수 있을까?
- RAG가 왜 효과 있을까? 사용 전략은?
- 에이전트란? 어떻게 만들고 평가해야 할까?
- 모델을 언제 파인튜닝 해야하고 하지 말아야할까?
- 애플리케이션을 지속적으로 개선하기 위한 피드백 루프는 어떻게 만들까?
...

이론서가 아니기에 어떤 개념이나 모델을 처음부터 학습시키는 방법을 설명하지 않는다

AI 애플리케이션을 만들면서 마주칠 수 있는 문제와 거기에 따른 해결책과 도구를 알려주는 방법론을 알려준다

물론 ML 관련 지식들을 알고 있다면 이 책을 더 적절하게 활용할 수 있을 것이다

• 샘플링, 결정론, 분포 등 확률론적 개념
• 지도학습, 자기 지도 학습, 로그 우도, 경사하강법, 역전파, 손실 함수, 하이퍼파라미터 튜닝 등 ML 개념
• 피드포워드, 순환, 트랜스포머를 포함한 다양한 신경망 아키텍쳐
• 정확도, F1 점수, 정밀도, 재현율, 코사인 유사도, 교차 엔트로피 같은 지표

위의 개념들을 내가 다 이해하고 설명할 수 있을까 생각해보면 아니요.. 안다고 착각하고 넘어갔던, 비어있는 부분들이 많이 느껴졌다

그 외에도 대상 독자로는 AI/ML 엔지니어, 데이터 사이언티스트, 엔지니어링 매니저, PM 등 기술 직군에서도 어떤 상황에 해당하면 도움이 될지도 알려주고 있다

학습 방법까지 세세하게 적기엔 내용이 너무 길어질 듯하니 직접 구매해서 읽는 걸 추천드린다

바야흐로 파운데이션 모델의 시대입니다. 누구나 몇 줄의 코드로 강력한 AI 모델을 호출하여 그럴듯한 프로토타입을 만들어낼 수 있게 되었습니다. 하지만 이처럼 낮아진 진입 장벽 이면에는 더 큰 도전이 숨어 있습니다. 아이디어를 실제 사용자가 신뢰하고 사용할 수 있는 '프로덕션 수준(Production-Level)'의 AI 애플리케이션으로 만드는 것은 전혀 다른 차원의 문제입니다. 바로 이 지점에서, AI 개발의 새로운 표준을 제시하는 필독서가 등장했습니다. 엔비디아, 스노클 AI, 스탠퍼드를 거친 세계적인 AI 전문가이자 『머신러닝 시스템 설계』의 저자인 칩 후옌의 신작, "AI 엔지니어링"입니다.

이 책은 파운데이션 모델을 단순히 '활용'하는 단계를 넘어, 이를 중심으로 안정적이고 확장 가능하며 지속적으로 개선되는 AI 시스템을 구축하는 '공학(Engineering)'의 관점을 제시합니다. 저자는 기존의 ML 엔지니어링이 모델을 직접 학습시키는 데 중점을 두었다면, AI 엔지니어링은 강력한 파운데이션 모델을 핵심 부품으로 삼아 전체 애플리케이션을 설계하고, 통합하며, 운영하는 포괄적인 활동임을 명확히 합니다. 이 책은 바로 이 새로운 패러다임에 필요한 모든 것을 담은 '올인원 가이드'라 할 수 있습니다.

무엇을, 어떻게 다루는가: AI 시스템 구축의 전체 생애주기

"AI 엔지니어링"은 추상적인 개념 나열에 그치지 않고, AI 시스템 구축의 전체 생애주기를 아우르는 체계적이고 실용적인 로드맵을 제공합니다. 책의 흐름은 실제 현업 팀이 겪는 의사결정 과정을 그대로 따라갑니다.

1. 기획 및 모델 선택 (1~4장): 성공적인 AI 애플리케이션을 위한 첫 단추는 올바른 문제 정의와 모델 선택입니다. 책은 AI 엔지니어링의 개념을 정립하고, 파운데이션 모델의 내부 동작 원리(학습 데이터, 아키텍처, 샘플링 등)를 설명합니다. 특히 두 개의 장(3, 4장)을 할애하여 AI 시스템 '평가' 방법론을 집중적으로 다룹니다. 이는 '감'이 아닌 데이터 기반의 의사결정을 내리는 데 필수적인 부분으로, 이 책이 다른 기술 서적과 차별화되는 가장 큰 강점입니다.
2. 핵심 기술 기법 (5~8장): 모델을 선택했다면, 이제 애플리케이션의 성능을 극대화할 차례입니다. 책은 프롬프트 엔지니어링, RAG(검색 증강 생성), 에이전트, 파인튜닝 등 핵심 기법들을 깊이 있게 파고듭니다. 단순히 각 기술을 소개하는 것을 넘어, 언제 어떤 기술을 사용해야 하는지, 각 기법의 장단점과 트레이드오프는 무엇인지 명확히 제시하여 독자가 상황에 맞는 최적의 전략을 수립할 수 있도록 돕습니다. 더 나아가, 이 모든 기술의 근간이 되는 데이터셋 엔지니어링의 중요성을 강조하며 데이터 큐레이션부터 합성에 이르는 실무 지식을 전달합니다.
3. 최적화 및 운영 (9~10장): 프로토타입을 완성했더라도 끝이 아닙니다. 실제 서비스에서는 지연 시간과 비용이라는 현실적인 제약이 따릅니다. 책은 추론 최적화 기법을 통해 성능과 효율을 모두 잡는 방법을 설명하고, 나아가 캐싱, 가드레일, 모니터링 등을 포함한 견고한 AI 아키텍처 설계법을 제시합니다. 마지막으로, 한 번 구축으로 끝나는 시스템이 아니라 사용자 피드백을 기반으로 지속적으로 개선되는 선순환 루프를 만드는 방법론으로 마무리하며, 살아있는 AI 시스템을 만드는 노하우를 전수합니다.

이 책을 반드시 읽어야 하는 이유

• 새로운 표준 제시: AI 엔지니어링이라는 새로운 분야의 개념과 범위를 명확히 정의하고, 현업에 필요한 체계적인 프레임워크를 제공하는 최초의 교과서입니다.
• 이론과 현실의 완벽한 균형: 칩 후옌의 풍부한 현장 경험을 바탕으로, 추상적인 이론과 실제 프로덕션 환경의 간극을 효과적으로 메워줍니다.
• '평가'에 대한 깊이 있는 통찰: AI 시스템의 품질과 신뢰성을 담보하는 가장 중요한 과정인 '평가'를 핵심 주제로 다룸으로써, 데이터 기반의 합리적인 의사결정 능력을 길러줍니다.
• 실무 중심의 포괄적인 내용: 프롬프트, RAG, 파인튜닝 등 단편적인 기술 지식을 넘어, 데이터 수집부터 아키텍처 설계, 운영, 피드백 루프까지 엔드투엔드 실무 지침을 완벽하게 제공합니다.

추천 대상

• LLM과 파운데이션 모델을 실무에 도입하려는 AI/ML 엔지니어
• 모델 평가, 데이터셋 설계, 파인튜닝을 실제 프로젝트에 적용하고 싶은 데이터 과학자 및 연구원
• AI 애플리케이션 개발 과정을 이해하고 기술팀과 원활하게 협업해야 하는 프로덕트 매니저(PM) 및 기획자
• 전통적인 ML 개발에서 LLM 기반 개발로 전환하며 새로운 도전에 직면한 모든 개발자

"AI 엔지니어링"은 빠르게 변하는 AI 기술 생태계 속에서도 흔들리지 않는 단단한 기본기를 다져주는 든든한 나침반이자 레퍼런스입니다. 단순히 AI 모델을 '사용'하는 것을 넘어, 신뢰할 수 있는 AI 제품을 '만들고' 책임지고 싶은 모든 분께 이 책을 강력히 추천합니다.