오늘날 우리의 눈을 사로잡는 에이전트 기반 AI 시스템은 감지, 이해, 추론 능력에서 근본적인 병목 현상에 다다르고 있습니다. 이는 컴퓨팅 파워나 데이터 가용성의 문제가 아니라, 인간의 믿음, 욕망, 의도라는 복잡하고 맥락에 의존하는 세계를 탐색하는 능력이 부족하기 때문입니다.

이러한 문제는 시스템이 실제로 작동하는 모습을 보면 더욱 분명해집니다. AI 에이전트에게 청구서 처리나 재고 관리 같은 구조화된 작업을 맡기면 매우 뛰어나게 수행합니다. 그러나 경영진의 이메일에서 암호처럼 숨겨진 진정한 우선순위를 해석하거나, 고속도로 병합 상황에서의 암묵적인 사회적 역학을 파악하라고 하면 그 한계가 드러납니다. 연구에 따르면 많은 기업에서 AI 실패의 원인은 기술적 결함이 아니라 잘못된 믿음 모델링에 있습니다. 이러한 시스템은 인간의 가치를 정적인 매개변수로 취급하기 때문에 실제 세계에서의 의사 결정이 지니는 역동성과 맥락 민감성을 완전히 놓치고 있는 것입니다.

이 격차는 AI가 일상적인 자동화 수준을 넘어 판단, 협상, 신뢰가 요구되는 영역으로 진입할수록 더욱 심화됩니다. 인간의 의사 결정은 계층적이고 맥락적이며, 깊이 사회적입니다. 우리는 단순히 사실을 처리하는 데 그치지 않고, 자신과 타인의 믿음, 욕망, 의도를 구성합니다. 이러한 ‘마음 이론’ 덕분에 우리는 협상하고, 즉흥적으로 반응하며, 상황에 적응할 수 있습니다. 하지만 현재의 AI는 이 수준을 따라오지 못하고 있습니다. 센서가 풍부하게 장착된 자율주행차조차도 한 번의 눈짓이나 몸짓에서 의도를 추론하는 데 어려움을 겪으며, 우리가 얼마나 더 나아가야 하는지를 보여줍니다.

이러한 문제의 해답은 AI 연구 분야에서 조용히 발전해온 접근 방식인 ‘믿음-욕망-의도(Belief-Desire-Intention, BDI)’ 프레임워크에 있을 수 있습니다. 실용적 추론의 철학에 뿌리를 둔 BDI 시스템은 세 가지 상호 연결된 수준에서 작동합니다. 가능한 모든 시나리오를 일일이 하드코딩하는 대신, 이 프레임워크는 에이전트에게 자신이 알고 있는 것, 원하는 것, 그리고 실행하기로 약속한 것에 대해 인간처럼 추론할 수 있는 인지 구조를 제공합니다. 이는 새로운 정보에 비추어 의도를 수정하는 것을 포함해, 시간에 따른 믿음 변화의 연속성을 처리하는 능력과 유사합니다.

믿음은 에이전트가 자신과 타인을 포함한 세상에 대해 이해하는 내용을 의미하며, 이 정보는 불완전하거나 잘못된 것일 수도 있지만, 새로운 데이터가 도착하면 업데이트됩니다. 욕망은 에이전트의 동기 상태, 즉 목표와 목적을 반영하지만, 모든 욕망을 동시에 추구할 수는 없습니다. 의도는 에이전트가 실행하기로 결심한 구체적인 계획이나 전략을 의미하며, 이는 욕망 중 적극적으로 추구되는 하위 집합입니다.

이 프레임워크가 실제로 어떻게 작동할 수 있는지 예를 들어보겠습니다. 자율주행차의 믿음은 실시간 교통 데이터와 출퇴근 시간 동안의 통행자 행동에 대한 학습된 패턴을 포함할 수 있습니다. 욕망은 목적지에 안전하고 효율적으로 도달하고, 동시에 승객의 편안함을 보장하는 것입니다. 이러한 믿음과 욕망에 기반해, 예측된 교통 체증을 피하기 위해 측면 도로를 통해 우회하는 식의 의도가 형성됩니다. 이는 전체적으로 더 원활한 여정을 가능하게 한다고 판단되기 때문에 다소 긴 경로를 택하는 결정입니다. 예를 들어 호주 멜버른의 ‘훅 턴’과 같은 특수한 교통 상황은 자율주행차가 새로운 지역에 배치될 때 학습된 패턴을 업데이트하게 만듭니다.

실제 도전 과제는 정확한 믿음을 구축하고 유지하는 데 있습니다. 인간 맥락에서 중요한 많은 요소—우선순위, 제약, 의도—는 명시적으로 진술되거나 기업 데이터에 포착되지 않는 경우가 많습니다. 대신, 이들은 시간과 상황에 따라 진화하는 행동 패턴에 내재되어 있습니다. 그래서 관찰 학습이 중요해집니다. 명시적인 지침이나 기업 데이터에만 의존하는 것이 아니라, 에이전트 기반 AI는 환경에서의 행동 패턴을 관찰하고 이를 해석해 우선순위와 제약을 스스로 추론할 수 있어야 합니다.

현대의 믿음 인식 시스템은 이러한 암묵적인 역학을 해독하기 위해 정교한 기술을 활용합니다. 예컨대 행동 텔레메트리는 커서 호버링이나 음성 스트레스 패턴 등 미묘한 사용자 상호작용을 추적해 숨겨진 우선순위를 드러냅니다. 확률적 믿음 네트워크는 베이지안 모델을 통해 관찰된 행동에서 의도를 예측합니다. 예를 들어, 자주 반복되는 야간 로그인은 시스템 업그레이드가 임박했음을 시사할 수 있고, 갑작스러운 데이터베이스 쿼리 급증은 긴급한 데이터 마이그레이션 프로젝트의 가능성을 나타낼 수 있습니다. 다중 에이전트 환경에서는 강화 학습을 통해 시스템이 인간의 반응을 관찰하고, 그에 따라 전략을 조정할 수 있습니다. Infosys의 사례에서 대형 은행은 IT 자금 배정을 최적화하기 위해 예측 솔루션을 재구상했습니다. 정적 예산 모델 대신, 과거 성공적인 프로젝트의 행동 텔레메트리를 수집하고, 유형, 기간, 자원 구성에 따라 분류했습니다. 이로 인해 프로젝트 성공을 예측하는 동적인 믿음 시스템을 만들 수 있었고, 시스템의 의도는 규제 우선순위 변화나 예상치 못한 프로젝트 위험을 추론하고 자원을 재배치하는 유연성을 확보하면서 최적의 자금 배정을 추천하는 것이었습니다. 이는 곧 숙련된 프로그램 디렉터의 판단을 모방하는 셈입니다.

이러한 기능을 뒷받침하는 기술 아키텍처는 전통적인 AI 시스템에서 한 단계 진화한 형태입니다. 현대의 믿음 인식 시스템은 IoT 데이터, 사용자 인터페이스 텔레메트리, 생체 신호 등 다양한 입력을 센서 융합을 통해 통합하고, 이를 에이전트의 환경적 믿음을 구성하는 일관된 데이터 스트림으로 변환하는 계층적 아키텍처를 채택합니다. 또한, 컨텍스트 엔진은 조직의 목표를 관찰된 행동 패턴과 연결하는 동적 지식 그래프를 유지하며, 윤리적 오버라이드 모듈은 규제 지침을 유연한 제약으로 인코딩하여 규정 준수를 유지하면서도 시스템이 적응할 수 있도록 지원합니다. 예를 들어, 고객 서비스에서는 믿음 기반 에이전트가 타이핑 속도나 이모티콘 사용 같은 미묘한 신호를 통해 긴급성을 추론하여 더 빠르고 적절한 지원을 제공할 수 있습니다. 또한, 음성 패턴, 목소리 톤, 언어 선택을 분석해 고객의 감정을 실시간으로 이해하고, 보다 개인화된 응답을 제공함으로써 반응 중심의 고객 서비스를 능동적인 감성 지능 중심 서비스로 전환합니다. 건물 관리 시스템 역시 믿음 기반 AI로 재구성될 수 있습니다. 단순히 점유 여부를 감지하는 것이 아니라, 공간 사용 패턴과 사용자 선호도에 대한 믿음을 형성하고, 예측 기반의 온도 조절 등을 통해 효율성을 높일 수 있습니다. 예를 들어, 특정 시간대에 북동쪽 구역의 직원들이 일관되게 온도를 낮춘다면, 시스템은 햇빛 노출로 인해 그 구역이 더 따뜻하다는 믿음을 형성하고, 날씨 예보와 시간 정보를 바탕으로 사전적으로 온도를 조정합니다. 이러한 시스템은 공간이 점유되었는가 여부를 넘어, 어떻게 사용되고 있는지를 이해함으로써 측정 가능한 효율성을 달성합니다.

이러한 시스템이 점점 정교해질수록, 투명성과 설명 가능성에 대한 요구도 커집니다. 에이전트의 의도 뒤에 있는 추론 과정을 감사하는 일은 특히 복잡한 확률 기반 믿음 상태 모델에서는 AI 책임성에 대한 새로운 접근 방식을 요구합니다. 유럽연합의 AI 법은 이제 고위험 시스템에 대해 기본 권리 영향 평가를 의무화하고 있으며, 이는 조직이 믿음 상태가 의사 결정에 어떤 영향을 미쳤는지를 문서화하도록 요구합니다. 이 규제 프레임워크는 AI 시스템이 더 자율적이고 믿음 기반으로 발전할수록, 우리는 그들의 의사 결정 과정을 이해하고 검증할 수 있는 강력한 메커니즘이 필요하다는 점을 인식합니다.

믿음 인식 AI의 채택은 기술 구현을 넘어서 조직 전반에 영향을 미칩니다. 성공적인 도입을 위해서는 기존 워크플로 내에서 믿음에 민감한 의사 결정을 파악하고, AI의 의도를 검토하고 스트레스 테스트할 수 있는 교차 기능 팀을 구성하며, 이러한 시스템을 미션 크리티컬 애플리케이션으로 확장하기 전에 저위험 도메인에 시범적으로 도입해야 합니다. 접근 방식을 재고하는 조직은 운영 효율성뿐 아니라, AI 기반 추천과 인간 판단 간의 정렬성이 향상되는 효과를 경험하게 될 것입니다. 이는 신뢰 형성과 도입 확산에 있어 핵심적인 요소입니다.

앞으로의 프론티어는 믿음 모델링에 있습니다. 사회적 신호의 강도, 윤리적 드리프트, 인지 부하의 균형에 대한 메트릭을 개발하는 것이 핵심 과제가 될 것입니다. 초기 도입 사례로는 스마트 시티 관리, 적응형 환자 모니터링 등을 들 수 있으며, 이들은 시스템이 변화하는 맥락에 따라 실시간으로 행동을 조정할 수 있도록 돕고 있습니다. 이러한 모델이 성숙해짐에 따라, 믿음 기반 에이전트는 복잡하고 고위험한 의사 결정을 지원하고, 필요를 예측하며, 변화에 적응하고, 인간 파트너와 자연스럽게 협업할 수 있는 역량을 갖추게 될 것입니다.

믿음 기반, BDI 기반 아키텍처로의 전환은 AI의 역할에 있어 깊이 있는 변화를 상징합니다. 감지-이해-추론의 전통적 파이프라인을 넘어서, 미래의 AI는 인간 행동을 구성하는 암묵적인 믿음, 욕망, 의도를 내면화하고 이에 따라 행동해야 합니다. 이는 AI를 단순히 정교하게 만드는 것이 아니라, 인간과 더욱 호환되도록 만들어, 중요한 결정이 이루어지는 모호하고 사회적으로 복잡한 환경에서 효과적으로 작동할 수 있게 하는 것입니다.

이러한 도전을 받아들이는 조직은 단지 다음 세대 AI의 발전을 이끄는 것에 그치지 않고, 적응적이며 협력적이고 진정으로 지능적인 디지털 파트너의 미래를 함께 설계하는 역할을 맡게 될 것입니다. 우리는 지금 이러한 전환점에 서 있습니다. 따라서 질문은 이제 AI가 이러한 능력을 갖출 수 있을까가 아니라, 그 잠재력을 책임감 있게 실현하기 위해 필요한 기술 기반, 조직 구조, 윤리적 프레임워크를 얼마나 빠르게 재구상하고 구축할 수 있을까입니다.

원문: The Next Leap for AI: Why Agents Need to Learn to Believe