한빛미디어

1959년, 재즈음악의 레전드 마일스 데이비스는 역사상 가장 많이 팔린 재즈 앨범 《Kind of Blue》를 녹음합니다. 그런데 그가 함께 연주하는 밴드에게 건넨 건 완성된 악보가 아니었습니다.

데이비스는 리허설을 거의 허락하지 않았고, 음악을 거의 적어두지 않은 채, 각 곡을 연주하기 직전에 "이 구간에서는 이런 분위기의 음들 안에서 연주하라"는 큰 틀만 정해주고 나머지는 즉흥에 맡겼습니다 . 존 콜트레인, 빌 에번스 같은 전설적인 연주자들이 사실상 스튜디오에서 처음 그 틀만을 받아 들고 연주한 셈이죠.

핵심은 이겁니다. 데이비스는 '음표'를 지정하지 않았습니다. '경계'인 스케일을 지정했습니다. 어떤 조성, 어떤 무드, 어떤 형식 안에서 움직일지를 정하고, 그 안에서 매번 다른 연주가 나오도록 뒀습니다. 흔히 한 번에 녹음됐다고 알려졌지만, 실제로는 대부분의 곡이 여러 번의 테이크를 거쳤고 데이비스가 만족할 때까지 다시 연주했습니다. 

그런데 여기 반전이 있습니다. 즉흥이 자유로웠던 만큼, 데이비스가 그어둔 그 틀 자체는 오히려 엄격했습니다. 정해준 음의 울타리를 벗어나는 건 즉흥이 아니라 그냥 틀린 음이었으니까요. 이게 바로 AI PRD의 본질입니다.

마일스 데이비스 정규 30집 《Kind of Blue》의 Side A 1번 트랙. So What

기존 PRD는 악보, AI PRD는 스케치입니다

기존 PRD는 결정론적 명세였습니다. "사용자가 이 버튼을 누르면 이 화면이 뜬다." 입력과 출력이 1:1로 대응되어 있고, 그대로 구현되면 됐습니다. QA는 명세대로 동작하는지만 확인하면 됐습니다. 완성된 악보처럼, 모든 음표가 정해져 있었습니다.

AI는 이 방식이 통하지 않습니다. 같은 질문에도 매번 다른 답이 나오고, 사용자가 던질 입력은 무한합니다. "이 입력엔 이 출력"을 전부 적는 건 불가능합니다. 그래서 AI PRD는 확률론적 명세로 바뀝니다. 정확한 출력이 아니라, 출력이 '어떠해야 하는가'의 조건과 경계를 적는 문서죠. 데이비스가 음표 대신 스케일을 줬듯이 말입니다.

그렇다면 그 확률론적 명세에 반드시 들어가야 할 다섯 가지는 무엇일까요? 이해를 돕기 위해, 'A쇼핑'이라는 가상의 회사가 만드는 고객 지원 AI 챗봇 하나를 예로 삼아 하나씩 보겠습니다.

1. 출력 예시가 아니라 '평가 기준'을 씁니다

가장 흔한 실수부터 이야기 하죠.

 PM들은 습관적으로 이렇게 씁니다. "사용자가 환불을 물으면 '7일 이내 전액 환불 가능합니다'라고 답한다." 입력과 출력을 못 박는 거죠. 하지만 AI는 그 문장을 그대로 말하지 않고, 사용자는 "환불", "돈 돌려줘", "이거 취소하고 싶은데" 등 수십 가지로 묻습니다. 예시를 아무리 많이 적어도 끝이 없습니다.

대신 출력이 만족해야 할 조건을 적어야 합니다.

❌ 나쁜 명세: "환불 문의 시 '7일 이내 전액 환불 가능합니다'라고 답한다."

✅ 좋은 명세: "환불 문의에 대한 답변은 (1) 우리 환불 정책 문서에 근거해야 하며, (2) 정책에 없는 내용을 지어내지 않고, (3) 정중한 어조를 유지한다.  평가할때는 실제 정책 문서와 대조해 사실 정확도를 측정한다."

데이비스가 음표가 아니라 스케일을 줬듯, PM은 정답이 아니라 정답이 만족해야 할 조건을 줍니다. 그리고 그 조건은 반드시 '측정 가능한' 형태여야 합니다. 측정할 수 없는 기준은 명세가 아니라 소망입니다.

2. 성공 기준과 '허용 가능한 오류'를 정합니다

기존 PRD는 "동작한다/안 한다"의 세계였습니다. AI PRD는 다릅니다. '충분히 좋다'가 몇 %인지를 숫자로 정해야 하고, 더 중요하게는 어떤 오류는 괜찮은지를 미리 합의해야 합니다.

• 성공 기준: 환불 정책 질문에 대한 정답률 95% 이상, 근거충실도 90% 이상.
• 허용 가능한 오류: 확신이 없을 때 "정확한 안내를 위해 상담원을 연결해 드릴게요"라고 답하는 것은 오류가 아니라 바람직한 행동으로 본다. 모르면서 지어내는 것보다 훨씬 낫다.

이 두 번째 줄이 핵심입니다. AI PRD는 완벽을 요구하지 않습니다. 앞선 글에서 페더러가 포인트의 54%만 따고도 경기의 80%를 이겼다는 이야기를 했죠. AI 제품도 마찬가지입니다. 모든 출력이 완벽할 수는 없고, 그래서 어떤 실수는 괜찮은지를 미리 정하는 것이 PM의 일입니다. "모르겠으면 솔직히 모른다고 하기"를 성공으로 규정하는 순간, 제품은 훨씬 안전해집니다.

데이비스의 스케일 규칙은 엄격했지만, 그 안에서 즉흥의 자유는 넓었습니다. 성공 기준과 허용 오류가 바로 그 경계와 자유를 그리는 일입니다.

3. 실패 기준과 '금지 행동'을 명시합니다

성공 기준이 "얼마나 잘하나"라면, 실패 기준은 "무엇은 절대 안 되나"입니다. 이 둘은 완전히 다릅니다. 정답률이 95%여도, 나머지 5%에서 회사를 위험에 빠뜨리는 짓을 하면 그 제품은 배포할 수 없습니다.

• 금지 행동(하드 라인): 정책에 없는 환불 조건을 임의로 약속하기(예: "특별히 30일까지 해드릴게요"), 경쟁사 비방, 개인정보나 결제 정보 요구, 법률·의료 조언 제공.
• 실패 기준: 위 금지 행동이 단 1건이라도 감지되면, 정답률과 무관하게 즉시 배포를 차단한다.

조성을 벗어난 음은 즉흥이 아니라 그냥 틀린 음입니다. 마찬가지로 금지 행동은 '조금 나쁜 출력'이 아니라 '절대 넘으면 안 되는 선'입니다. 이건 2편에서 이야기한 가드레일이 PRD에 문서로 박히는 지점이고, 4편의 배포 관문이 작동하는 기준이기도 합니다. 성공 기준은 %로 관리하지만, 금지 행동은 0건으로 관리합니다.

4. 비용과 응답시간 '예산'을 잡습니다

기존 소프트웨어는 한번 만들면 추가 사용 비용이 거의 0이었습니다. AI는 다릅니다. 쓸 때마다 돈이 나갑니다. 그래서 AI PRD에는 기존 PRD에 없던 항목이 들어갑니다. 예산입니다.

• 비용 예산: 문의 1건당 평균 토큰 비용을 정해진 상한 이하로 유지한다. 세션당 비용이 상한을 넘으면 알림을 발생시킨다.
• 응답시간 예산: P95 응답 시간 3초 이내. (사용자 이탈률이 3초를 기점으로 급증하기 때문)

1편에서 베타 때 멀쩡하던 챗봇이 정식 출시 후 비용 20배 청구서를 받은 이야기를 했습니다. 그 사고는 대부분 PRD에 예산 항목이 없어서 벌어집니다. 예산 없는 AI PRD는 브레이크 없는 차와 같습니다. 역설적이지만, 이런 제약이 오히려 좋은 제품을 만듭니다. 데이비스는 단 이틀, 최소한의 리허설이라는 빡빡한 제약 속에서 명반을 만들었습니다. 명확한 예산은 팀을 옥죄는 족쇄가 아니라, 창의적인 해법을 끌어내는 틀입니다.

5. 휴먼 체크포인트와 롤백 조건을 정합니다

마지막으로, AI는 배포가 끝이 아닙니다. 4편에서 이야기한 모델이 조용히 바뀌며 품질이 서서히 무너지는 현상인 드리프트때문에, "언제 사람을 부르고, 언제 되돌릴지"를 미리 적어둬야 합니다.

• 휴먼 체크포인트: 환불 금액이 10만 원을 초과하는 건은 AI가 자동 처리하지 않고 반드시 상담원 승인을 거친다.
• 롤백 조건: 배포 후 정답률이 90% 아래로 떨어지거나 금지 행동이 1건이라도 감지되면, 자동으로 직전 버전으로 되돌린다.

휴먼 체크포인트는 실수 비용이 가장 큰 자리에만 사람을 세우는 장치입니다. 롤백 조건은 "이 선을 넘으면 무조건 후퇴한다"는 안전장치고요. 이 둘이 없는 AI 제품은, 사고가 나야만 사고를 압니다.

데이비스는 매 테이크를 듣고 "통과냐, 다시냐"를 판정했습니다. 명곡 〈Blue in Green〉조차 마음에 드는 연주가 나올 때까지 여러 번 다시 연주하게 했죠. 그 판정과 재시도가, 정확히 휴먼 체크포인트와 롤백입니다. 좋은 프로듀서는 녹음 버튼을 누르고 자리를 뜨지 않습니다.

오늘부터 해볼 세 가지

➀ 써볼 것

지금 맡은 AI 기능의 PRD를 펴서, "입력 → 출력 예시"로 적힌 부분을 찾아보세요. 그걸 "출력이 만족해야 할 조건 + 측정 방법"으로 바꿔 쓰면, 그게 AI PRD의 첫 문장입니다. 

➁ 참고할 것

위 다섯 항목을 체크리스트로 삼으세요. 평가 기준 / 성공 기준·허용 오류 / 금지 행동 / 비용·시간 예산 / 휴먼 체크포인트·롤백. 다음 PRD에서 비어 있는 칸이, 지금 여러분 제품의 가장 큰 리스크입니다. 

➂ 적용해볼 것 

팀과 딱 한 문장만 합의해보세요. "우리 제품에서 절대 하면 안 되는 행동은 무엇인가?" 이 금지 행동 목록 하나가, 백 줄의 성공 기준보다 제품을 지킵니다. 

《Kind of Blue》가 60년이 넘도록 사랑받는 건, 데이비스가 모든 것을 통제하려 하지 않았기 때문입니다. 그는 경계를 긋고, 그 안에서 벌어질 자유를 믿었습니다. 그리고 그 자유가 통제된 악보로는 결코 나올 수 없는 음악을 만들어냈죠.

AI PRD도 그렇습니다. 모든 출력을 못 박으려는 순간, 제품은 굳어버립니다. 반대로 아무 경계도 긋지 않으면, 제품은 무너집니다. 경계는 엄격하게, 그 안은 자유롭게. 좋은 AI PRD는 완성된 악보가 아니라, 좋은 연주가 터져 나올 조건을 설계하는 문서입니다.

여러분의 다음 PRD는 악보입니까, 스케치입니까?

위 콘텐츠는 『AI 프로덕트 매니지먼트』김영욱 저자가 작성한 특별 기고문입니다.

『프로덕트 매니지먼트』로 PM의 성장 가이드를 제시한 김영욱 저자가 이번에는 AI 시대에 맞춰 PM의 역할과 책임을 다시 정의합니다. 책은 소프트웨어와 AI 시스템이 근본적으로 어떻게 다르게 작동하는지에서 출발해 AI 프로덕트에서 발생하는 새로운 실패를 설계 단계부터 어떻게 다뤄야 하는지, 그 판단이 PRD와 지표, 팀의 협업 방식을 어떻게 바꾸는지 짚습니다.

더 나아가 AI PRD와 평가 플랜 작성, 하네스 설계, AI 지표와 모니터링, 머신러닝 엔지니어와의 협업까지. 아이디어를 실제 프로덕트로 만들고 운영하는 전 과정을 한 권에 담았습니다. 과거의 PM이 '어떤 기능을 만들 것인가'를 결정했다면, AI 시대의 PM은 '시스템이 어떻게 동작하고, 틀리며, 오류를 어떻게 설계할 것인가'까지 책임져야 합니다. AI를 ‘프로덕트’로 만드는 방법이 필요한 모든 분께 추천합니다.