한빛미디어

"한빛미디어 서평단 <나는리뷰어다> 활동을 위해서 책을 협찬받아 작성된 서평입니다."

AI 는 발전이 너무 빨라서, 이를 놓치지 않기 위해서는 계속 공부를 하고 있습니다.

예전에는 AI 의 원리와 만드는 방법 등을 공부했었는데, 자원의 한계 등으로 인해 개인적으로 해보기는 어려운 부분이 많더라구요.

그래서 요즘은 AI 를 어떻게 잘 활용할 것인가에 많은 관심을 두고 있습니다.

최근에 AI 를 활용한 서비스 관련 기획서를 작성했었습니다.

개인의 주관이 어쩔 수 없이 많이 들어가게 되는 UI 만큼,

답변을 정확히 예측하기 어려운 AI 를 어떻게 해야할지 많이 고민했었습니다.

요즘에 주변에서 "그냥 AI 가 알아서 해줄거야" 라는 말을 많이 듣지만,

예측이 제한적인 AI 의 답변에 시스템의 동작을 맡기게 되면

실행의 일관성을 유지하기 어렵고 결과물의 품질을 객관적으로 측정하기도 까다로워집니다.

이번 책인 "컨텍스트 엔지니어링으로 구축하는 AI 에이전트' 은 저의 고민을 해결할 방법을 제시해줍니다.

컨텍스트 엔지니어링으로 완성하는 AI 에이전트

시작하기전에.

이번에 기획서를 작성할 때, Claude Docs 를 많이 참고했었습니다.

이번에 책을 읽다보니 상호보완하면서 읽으면 좋겠다는 생각을 많이 했습니다.

https://platform.claude.com/docs/en/build-with-claude/prompt-engineering/overview

Prompt Engineering

책에서는 #, --- 등으로 구분을 하지만, Claude 에서는 <> 같은 태그를 기반으로 항목을 명확히 정의합니다.

큰 차이는 없을 것 같지만, 그래도 각 AI API 의 공식문서에서 제공하는 형태로 사용하는게 제일 효율이 좋다고 생각합니다.

아래와 같은 Golden Rule 도 있으니 API 를 사용하기 전에 자신이 사용하는 API 문서를 한번쯤 읽어보세요.

claude docs

다시 책의 내용으로 넘어가겠습니다.

컨텍스트 최적화

이 책에서는 이러한 문제를 효율적인 컨텍스트 엔지니어링으로 해결하려고 합니다.

이를 위해, "AI 메모리의 한정된 공간을 얼마나 효율적으로 활용할 것인가?" 에 대한 답을 찾아갑니다. 

최적의 컨텍스트를 AI 에게 제공할 경우, 다음과 같은 이점이 있습니다.

• 금전적 비용 : 토큰의 수가 줄어들기 때문에, 비용이 절감됩니다.
• 시간 비용 : 계산에 사용되는(읽어야하는) 토큰의 수가 줄어들기 때문에, 응답속도가 빨라집니다. 
• 성능 비용 : 너무 많은 정보는 정보를 놓치게 만듭니다. 줄어든 토큰 수는 AI 가 중요 정보에 집중하게 만듭니다. 

*AI 도 인간처럼 무한정 기억하지 못합니다. AI 가 기억하고 처리할 수 있는 정보의 양은 정해져 있고 이를 컨텍스트 윈도우라고 합니다. 이를 표현하는 단위로 토큰(AI 가 이해하는 최소단위)이 있는데, 한글은 한글자를 표현하는데 1~2 토큰 정도를 차지합니다.

AI 서비스를 만들면 내 도메인/지식에 대한 RAG 를 사용할 확률이 높습니다.

내가 제공한 검증된 데이터 내에서 정확한 답변을 제시하기 위한 방법을 많이 고민했습니다. 

이 책에서는 법률관련 AI 비서를 구현하는 예제를 통해 이 방법을 소개합니다.

출처를 표기하게 하고 AI 가 모를 경우 모른다라고 답변하라는 프롬프트를 사용합니다.

검증되고 신뢰할 수 있는 자료만으로 답안 작성하기

책의 예시는 간단하지만 조금만 더 복잡해지면,

이 출처정보를 가져오는 것 자체가 난관이됩니다.

예시에서는 메타데이터를 출처를 표기하기 위한 데이터로 활용했지만

메타데이터를 따로 더 관리하여 필터링 등으로 활용하여 유사도 검색의 범위를 줄일 수 있습니다.

이런 예시들을 따라가면 AI 의 성능을 높이는 컨텍스트 엔지니어링 기술을 배울 수 있습니다.

그리고 이를 기반으로 세세한 지시 없이도 스스로 행동하는 AI 에이전트를 만드는 법을 알려줍니다.

이 AI 에이전트도 컨텍스트가 핵심입니다.

AI 에이전트에서는 최적의 컨텍스트 환경을 설계하고 자동화하는 것이 중요하다고 소개합니다.

에이전트 4대 구성 요소와 컨텍스트의 역할

에이전트는 감지센서(읽기 도구), 판단 시스템(LLM), 행동 모듈(쓰기/수정 도구), 학습 기능(메모리 컨텍스트) 을 구성요소로 컨텍스트 중심 아키텍처를 설계한다고 합니다.

랭그래프에서 기본적으로 제공하는 아키텍처인 ReAct 패턴은  "생각 -> 행동 -> 관찰" 을 반복하여 작업을 수행합니다.

이 루프는 아주 효율적이지만 "행동" 을 수행하는 데 최적화되어 있습니다.

하지만 이는 수집된 여러 컨텍스트를 어떻게 통합하고 우선순위를 정할지에 대한 명시적이고 표준적인 계층이 부족하다고 책에서 언급합니다. 

행동 루프 이전에 컨텍스트를 체계적으로 처리하는 아래의 확장 아키텍처를 소개합니다. 

컨텍스트 엔지니어링 흐름 다이어그램

이 설계는 AI 에이전트를 단순히 "생각하고 행동하는" 존재가 아니라, "다양한 컨텍스트를 입력받아 최적의 컨텍스트를 명확한 근거를 바탕으로 행동하는 시스템"으로 정의합니다. 정보를 처리하는 흐름에 따라 5개층으로 구분합니다.

• 입력 컨텍스트 계층 : '사용자 목표', '현재 환경(파일 목록, 시간 등)', 'RAG 등의 외부 데이터' 수집
• 처리 계층 : 컨텍스트 필터링, 요약, 합성 등으로 컨텍스트 정제
• 추론 계층 : 컨텍스트와 과거 메모리를 CoT 등을 활용하여 LLM 행동계획 수립
• 행동 계층 : 도구 호출 등의 행동 
• 피드백 계층 : 학습 및 메모리 업데이트 

위 흐름에 맞춰 작성한 코드 예시입니다.

컨텍스트 AI 에이전트

저자는 지능이란 모델의 크기가 아니라, 얼마나 건강하게 호흡하고 순환하는 컨텍스트 생태계를 만들었는가에 달려 있다고 합니다.

(물론, 어느정도 지능을 가진 LLM 이어야한다고 생각합니다)

이후에는 단일 컨텍스트 한계를 극복하기 위한 다중 컨텍스트 융합 아키텍처도 소개합니다.

다중 컨텍스트 융합

사실상 많은 경우가 다중 컨텍스트일 것입니다.

저는 여기서 조금 정보간에 상호작용하도록 구성하기도 했는데요.

고객 정보의 특징을 기반으로 의도를 분석하기도 하고, RAG 의 우선순위나 필터링에 사용하기도 했습니다.

실시간성이 중요하지 않다면 시도해는것도 좋을 것 같습니다.

제가 공식 문서를 쭉 읽어가면 적용했던 부분들을 정리된 책으로 보니,

머릿속에 다시 정리되는 기분이었습니다.

요즘엔 AI Agent 툴들이 아주 좋지만, 동작방식을 파악하고 제대로된 정보를 주입할 수 있다면

기존 툴들도 더 효율적으로 사용할 수 있다고 생각합니다.

그리고 내용 자체가 어려운 내용들은 아니니 부담없이 읽으실 수 있습니다.