서점에서 만난 책 한 권이 시작이었습니다.

서점에서 한빛미디어의 『주니어 백엔드 개발자가 반드시 알아야 할 실무 지식』을 처음 봤을 때, 참 좋은 기획이라고 생각했습니다. 목차만 훑어봐도 실무에서 실제로 부딪히는 것들을 순서대로 짚어주는 책이라는 게 보였고, 실제로 읽어보니 내용도 알찼습니다.

반응도 좋았습니다. 주니어 백엔드 개발자들은 물론이고 시니어급에서도 도움을 받았다는 후기가 꽤 보이더군요. 저는 백엔드 개발자가 아닌데도 얻어가는 게 많았습니다. 요즘은 AI, 백엔드, 프론트엔드의 경계가 빠르게 흐려지고 어느 쪽에 있든 어느 정도의 풀스택을 요구받다 보니, 기본기를 다시 정리하기에 좋은 책이었습니다.

AI 엔지니어링에도 이런 책이 하나 있으면 좋겠다고 생각했습니다.

그러다 문득 이런 생각이 들었습니다. AI 엔지니어링 쪽에도 이런 책이 필요하지 않을까.

마침 대학원에서 AI 시스템 디자인을 가르치던 때라 이 생각이 더 오래 남았습니다. 요즘 AI 엔지니어링이라고 하면 사실상 파운데이션 모델을 활용해 서비스를 만드는 일을 뜻하는데, 이 일을 하게 되는 경로가 생각보다 다양합니다. 신입으로 이 분야에 들어오는 분도 있지만, 백엔드나 프론트엔드를 하다가 AI 기능을 맡게 되어 넘어오는 분들이 정말 많습니다.

그런데 이 내용을 어디서 배우느냐가 문제입니다. 대학이나 대학원에서 정식 과목으로 다루는 곳은 아직 많지 않습니다. 논문은 현업보다 한참 앞서 있고, 튜토리얼은 대개 데모를 만드는 데서 끝납니다. 정작 그 데모를 실제 사용자 앞에 내놓은 다음부터 벌어지는 일들은 어디서도 잘 다루지 않습니다. 현업에서 필요한 지식과 배울 수 있는 곳 사이에 꽤 큰 빈칸이 있는 셈입니다. 이 책은 그 빈칸을 채우는 것을 목표로 설계했습니다.

물론 요즘은 모르는 개념이 나오면 GPT나 클로드에 물어보면서 배울 수 있습니다. 다만 그렇게 배우려면 무엇을 물어야 할지부터 알아야 합니다. 이 책이 그 큰 지도 역할을 해서, 독자가 더 좋은 질문을 던질 수 있게 돕기를 바랐습니다.

파운데이션 모델로 프로덕트를 만드는 일은 시행착오의 연속입니다.

이 일을 해보신 분이라면 공감하실텐데, 파운데이션 모델로 실제 프로덕트를 만드는 과정은 정말 많은 시행착오를 거칩니다.

무엇보다 사용자의 기준치가 완전히 달라졌습니다. “챗봇은 원래 좀 답답하지”라는 말이 통하던 시절은 지났습니다. 이제 사용자들의 기준은 GPT, 제미나이, 클로드 같은 프론티어 모델에 가 있습니다. 

그 눈높이를 맞춰야 하는데, 정작 만드는 쪽에서는 답이 잘 나온 건지 아닌지를 판단하는 것부터가 어렵습니다. 평가가 어렵고, 장애가 나도 무엇을 어떻게 측정해야 할지 막막합니다. 데모까지는 30분이면 만드는데 그다음부터가 진짜 일이라는 말이 나오는 이유입니다.

‘시니어’라는 말이 어색한 분야입니다.

솔직하게 말씀드리면, 제가 “시니어 AI 엔지니어”라고 불린다 한들 그게 얼마나 의미가 있을까 싶습니다. LLM으로 실제 프로덕트를 만들기 시작한 게 이제 겨우 몇 년입니다. 이 분야에서 수십 년의 경험을 가진 사람은 아직 아무도 없고, 저 역시 마찬가지입니다.

다만 운 좋게 조금 일찍 시작했고, 만든 것을 실제 사용자 앞에 내놓으면서 그만큼 많이 넘어졌습니다. 주변에 좋은 분들이 많았던 덕에 직간접적으로 짧은 기간에 여러 경험을 할 수 있었던 것도 큽니다. 여전히 부족한 점이 많지만, 그럼에도 제가 겪은 시행착오를 조금이나마 덜어드릴 수 있다면 의미가 있겠다는 생각으로 용기를 냈습니다.

가장 어려웠던 건 ‘이게 얼마나 오래갈 내용인가’였습니다. 

집필하면서 가장 힘들었던 부분은 이 분야가 너무 빠르게 변한다는 점이었습니다.

원고를 쓰는 동안에도 상황이 계속 바뀌었습니다. 모델이 구조화된 출력을 안정적으로 뱉게 하려고 이런저런 방법을 동원하던 내용을 써뒀는데, 그사이 API가 그 기능을 정식으로 지원하기 시작했습니다. 비용을 줄이려고 직접 설계해야 했던 캐싱도 얼마 지나지 않아 기본 기능으로 들어왔습니다. 어제까지 유효하던 노하우가 오늘 API 기능 하나로 사라지는 일이 반복됐습니다.

그래서 원고를 다듬을 때마다 스스로에게 계속 물었습니다. 이게 나중에도 필요한 지식인가. 어떤 기능은 앞으로도 계속 자동화될 것입니다. 다만 자동화되더라도 그 원리를 아는 사람과 모르는 사람 사이에 차이가 생기는가, 저는 거기에 초점을 맞췄습니다. 어떤 도구가 알아서 해주더라도, 그게 왜 필요한지 알고 쓰는 것과 모르고 쓰는 것은 문제가 생겼을 때 완전히 다른 결과로 이어지니까요.

결국 남는 것은 ‘이해’라고 생각합니다.

이 책은 독자가 GPT나 클로드를 쓰면서 코딩하고 AI 프로덕트를 만들어갈 것이라는 전제 위에서 썼습니다.

그래서 책의 코드는 예시이자 개념을 설명하기 위한 장치일 뿐, 무언가를 그대로 구현하게 하려는 목적이 아닙니다. 사실 코드 자체는 중요하지 않습니다. 중요한 것은 이해입니다.

앞으로 도구는 점점 더 많은 일을 대신해줄 것입니다. 코드도, 문서도, 분석도 그렇습니다. 생각의 상당 부분도 외주할 수 있게 되겠지요. 하지만 무엇을 만들지, 어디서 틀릴 수 있는지, 무엇을 검증해야 하는지에 대한 이해까지 대신해주지는 못합니다. 이해는 도움을 받는 데까지가 끝이고, 결국 내가 이해하지 못하면 내 것이 되지 않습니다.

한 바퀴 먼저 돌아본 사람의 메모라고 생각해주시면 좋겠습니다.

책 제목에 들어간 ‘주니어’라는 말은 경험이 부족하다는 뜻으로 쓴 것이 아닙니다. 이렇게 새로운 분야에서는 우리 모두가 어느 정도 그렇습니다. 이제 막 이 일에 들어선 분들을 가리키는 말에 가깝습니다.

그래서 이 책은 누군가를 내려다보며 가르치는 책이 아니라, 한 바퀴 먼저 돌아본 사람이 이제 막 출발하는 분에게 “여기서들 자주 넘어지더라” 하고 건네는 메모에 가깝습니다.

집필 과정에서 도움을 주신 분들께 감사드립니다. 부록의 인터뷰에 흔쾌히 응해주신 현업 엔지니어분들, 원고를 꼼꼼히 봐주신 편집자와 리뷰어분들 덕분에 훨씬 나은 책이 되었습니다.

이 책이 여러분의 시행착오를 조금이라도 줄여줄 수 있다면 더 바랄 것이 없겠습니다.

김태헌

AI 에이전트와 RAG를 붙이는 일은 이제 누구나 몇 시간이면 해냅니다. 하지만 그렇게 만든 데모가 프로덕션에서도 안정적으로 동작하는지는 전혀 다른 문제죠. 

『주니어 AI 엔지니어가 반드시 알아야 할 실무 지식』은 LLM API를 호출하고 RAG와 에이전트를 연결하는 방법을 넘어, 모델의 불확실성을 시스템으로 통제해 '어떻게 안전하고 안정적인 AI 서비스를 만들고, 운영할 것인가'에 초점을 맞춥니다.

프로덕션 AI 서비스에서는 검색 결과가 빗나가고, 잘 작동하던 프롬프트가 이전과 다르게 동작하며, 비용과 지연 시간이 급증합니다. 에러 로그는 없지만 잘못된 답변이 전달되는 ‘침묵하는 장애’도 발생합니다. 책에는 이러한 실패의 원인을 모델·데이터·검색·도구 중 어디서부터 찾아야 하는지 실무적인 판단 기준, 그리고 더 나아가 AI 시스템의 설계와 운영에 필요한 핵심 원칙, 현업 AI 엔지니어 인터뷰 등을 담았습니다.

빠르게 바뀌는 모델과 프레임워크보다 중요한 것은 모델이 틀릴 수 있다는 사실을 전제로 시스템을 설계하는 능력입니다. 장애의 원인을 좁히는 진단 감각과 확률적인 출력 위에 결정론적인 안전장치를 쌓는 설계 감각을 기르고 싶은 주니어 AI 엔지니어에게 든든한 가이드가 될 것입니다.