신진수
14시간 전
지난 글(바로가기)에서 우리는 Belief, 한 번의 실험이 만든 작은 균열을 이야기했습니다.
그리고 이렇게 끝맺었죠. 그 균열이 한 사람의 결단으로 끝나면, 믿음도 그 사람과 함께 사라진다고
오늘은 세 번째 단계, 개인의 용기로 생긴 균열을 조직의 뼈대로 굳히는 단계인 Commitment입니다.
Awareness → Belief → Commitment → Diffusion → Embeddedness
Commitment는 리더십이 실험을 조직의 핵심 업무 방식으로 삼겠다고 약속하고, 실제 자원과 프로세스를 투입하는 단계입니다.
이때부터 일부 제품 결정과 로드맵은 실험 데이터를 요구하기 시작합니다. 실험이 사업 성과에 미치는 영향도 비로소 수치적으로 측정 가능해집니다.
Belief가 "실험을 해본다"에 가까웠다면, Commitment는 "실험으로 결정한다"가 규칙이 되는 단계입니다. 실험이 "해도 되는 것"에서 "하지 않으면 안 되는 것"으로 바뀌는 순간입니다.
실무를 하다 보면 이 차이는 꽤 분명하게 드러납니다. 온라인 실험을 중요하게 생각하지 않는 조직에서는 일정이 밀리는 순간 실험이 가장 먼저 잘려 나갑니다. "이번엔 리소스가 없으니 빠르게 기능부터 내보내자"가 되죠. 반대로 실험이 출시의 관문인 조직에서는 데이터가 안전하다고 말하기 전까지 중요한 기능은 쉽게 나가지 않습니다.
이 둘 사이를 건너가는 과정이 Commitment입니다. 그리고 그 다리를 놓는 일은 AI가 대신해줄 수 없습니다. 결국 데이터 조직을 이끄는 사람과 제품을 만들어가는 리더들이 함께 해야 하는 일입니다.
데이터 문화를 만들고 데이터 기반 조직을 이끌다 보면 점점 분명해지는 것이 있습니다. 우리가 실험하는 대상은 결국 제품이고, 제품을 만든다는 일 자체가 가설을 세우고 검증하고 다시 세우는 과정이라는 점입니다.
미션과 비전에서 출발해, 어떤 유저에게 어떤 가치를 줄 것인지 정하고, UX와 로드맵을 그리고, 출시하기까지. 각 단계마다 검증해야 할 가설이 있습니다.
그래서 저는 Commitment를 실험을 "데이터팀의 일"로 만드는 단계라고 보지 않습니다. 실험을 제품을 만드는 방식 그 자체에 녹여 넣는 단계라고 봅니다.
다만 PM분들과 일하며 늘 강조하는 단서가 있습니다. 실험은 "이번 기능이 유저에게 통했나?"에는 답할 수 있지만, "무엇을 만들어야 하나?"를 대신 정해 주지는 않습니다. 좋은 가설은 제품 감각, 비전, 사용자에 대한 이해에서 나옵니다. 실험은 그것을 검증할 뿐입니다.
특히 0에서 1을 만드는 구간, 아직 제품·시장 적합성을 찾기 전에는 단순 A/B 테스트만으로 길을 찾기 어렵습니다. 그때는 확신과 비전이 먼저입니다. 실험이 가장 강력해지는 구간은 1을 10으로 키우는 단계입니다.
Commitment는 "데이터가 제품 의사결정과 판단을 대신한다"는 뜻이 아닙니다. 제품에 대한 의사결정을 규율 있는 검증과 묶는다는 뜻에 가깝습니다. 그리고 이런 의사결정이 반복해서 축적될 때, 조직은 단순히 더 많은 실험을 하는 곳이 아니라 더 빠르게 배우는 곳이 됩니다.
AI가 실행의 속도를 높이는 시대일수록, 무엇이 실제로 통했는지 가려내고 그 배움을 제품과 조직 안에 쌓아가는 능력은 더 중요해집니다. 결국 축적된 실험과 의사결정의 기록은 AI가 대신 만들어줄 수 없는, 조직만의 소중한 자산이 됩니다.
Commitment는 리더가 실험에 자원을 붓기 시작하는 단계입니다. 도구를 갖추고 자동화에 투자하는 것이죠. 목적은 하나, 실험 한 건을 새로 돌릴 때 드는 비용을 낮추는 것입니다.
그리고 그 비용의 대부분은 컴퓨팅이 아니라 사람의 시간입니다. 아이디어를 다듬고, 가설을 세우고, 실험을 설계하고, 분석하고, 다음 액션을 정하는 시간이죠. 그래서 이런 투자는 단순히 일을 편하게 만드는 게 아닙니다. 같은 시간에 더 많은 실험을 돌릴 수 있게 만드는 일입니다.
제가 조직에서 가장 먼저 손대는 곳도 여기입니다. 기능을 기본적으로 플래그 뒤에서 내보내고, 그 플래그를 곧장 실험과 연결하는 것. 그러면 모든 기능이 하나의 테스트가 됩니다. 출시와 측정이 분리되지 않는 구조죠.
실험이 조직의 기본값이 되려면 좋은 의지만으로는 부족합니다. 실험을 쉽게 시작하고, 안전하게 운영하고, 빠르게 해석할 수 있는 구조가 필요합니다. 리더의 자원은 결국 그 구조를 짓는 데 쓰여야 합니다.
Belief 단계의 가장 큰 비효율은 결과가 나올 때마다 그 결과를 다시 설명하고, 검증하고, 이해관계자를 설득해야 한다는 점입니다. 신뢰가 매번 새로 협상되어야만 앞으로 나아갈 수 있습니다.
Commitment의 핵심 과제는 이 신뢰를 제도로 바꾸는 일입니다.
방법은 생각보다 단순합니다. 모두가 하나의 기준 지표(Single Source of Truth) 위에서 실험하게 만드는 것입니다. 보기 좋은 대리 지표가 아니라, 리더십과 제품을 만들어가는 구성원들이 실제로 목표로 삼고 움직일 수 있는 비즈니스 지표 위에서 실험해야 합니다.
그러면 결과를 둘러싼 소모적인 재검증이 줄어듭니다. 누구나 같은 계산 과정을 들여다볼 수 있고, 같은 숫자를 기준으로 이야기할 수 있습니다.
여기서 다시 제품 감각이 중요해집니다. 무엇을 최적화할지, 즉 OEC(종합평가기준, Overall Evaluation Criterion)를 정할 때 한 가지 지표만 좇으면 제품은 쉽게 망가집니다. 클릭률은 올랐지만 리텐션과 수익이 무너졌다면, 제품과 우리의 비즈니스가 이긴 것이 아니라 숫자만 이긴 것이라고 볼 수 있죠.
좋은 제품이 비전, 사용자 가치, 사업 성과의 균형 위에 서듯, 좋은 OEC도 그 균형을 담아야 합니다. 여기에 반드시 지켜야 할 가드레일 지표까지 합의되면, 실험 결과에 대한 신뢰는 훨씬 단단해집니다.
Commitment의 확실한 표식은 실험이 사업 성과에 미치는 영향이 측정 가능해진다는 것입니다. 하지만 제가 겪어보니 더 어려운 문제는 측정보다 인센티브였습니다.
가장 큰 전환은 팀의 성과를 "무엇을 출시했는가"가 아니라 “어떤 지표를 움직였는가”로 보기 시작할 때 일어납니다. 기능을 많이 내보낸 사람이 아니라, 실제로 의미 있는 지표를 개선한 사람이 인정받는 구조. 그 구조가 자리 잡는 순간 실험은 누군가의 취미가 아니라 모두의 일이 됩니다.
이때 분석가의 역할도 달라집니다. Belief 단계에서 분석가가 "믿음을 지키는 사람"이었다면, Commitment 단계에서는 “실험을 누구나 할 수 있게 만드는 사람”이 되어야 합니다. 분석가가 모든 회의실에 동시에 있을 수는 없기 때문입니다.
그래서 분석가는 단순히 결과를 분석하는 사람을 넘어, 다른 사람들이 스스로 가설을 세우고 실험을 계획할 수 있게 돕는 사람이 되어야 합니다. 동시에 끝난 실험들을 모아 메타 수준의 배움을 뽑아내야 합니다.
실험 하나가 배움이라면, 쌓인 실험 전체에서도 다시 배울 수 있습니다. 이때 분석가는 병목이 아니라 증폭기가 됩니다.
AI 덕분에 더 많은 아이디어와 변형을 더 빠르게 만들 수 있게 되었습니다. 그래서 앞으로 더 중요해지는 능력은 "무언가를 만드는 능력"보다 “무엇이 실제로 통했는지 가려내는 능력”에 가까워질 것입니다.
Commitment는 이 능력을 조직의 제도로 만드는 단계입니다. AI가 더 많은 선택지를 만들어줄 수는 있지만, 그중 무엇이 우리 제품에 맞았는지 판단하고, 그 배움을 다음 의사결정으로 연결하는 일은 여전히 조직의 몫입니다.
그래서 실험은 단순히 기능의 승패를 가르는 도구가 아닙니다. 조직이 배우는 방식입니다. 하나의 실험은 하나의 판단으로 남고, 축적된 판단은 다음 가설의 출발점이 됩니다. 그렇게 쌓인 실험과 의사결정의 기록은 시간이 지날수록 경쟁자가 쉽게 모방하기 어려운 자산이 됩니다. AI 시대에 진짜 경쟁력은 좋은 도구가 아니라, "이 배움을 꾸준히 쌓아 온 조직"에 있어요.
다만 속도만으로는 충분하지 않습니다. 빠르게 시도하되, 무엇이 통했는지는 반드시 확인해야 합니다. Commitment는 제품의 속도와 검증의 규율을 함께 가져가는 구조를 만드는 일입니다.
시작은 단순히, 단 한 종류의 결정이라도 “이건 실험 없이는 진행하지 않는다”고 정하는 것에서 시작할 수 있습니다. 그 규칙 위에서 실험 한 건의 비용을 낮추고, 모두가 같은 지표를 보게 만들고, 무엇을 최적화하고 무엇을 지킬지 합의해야 합니다.
Commitment는 개인의 용기로 생긴 균열을 조직의 구조로 굳히는 단계입니다. 실험이 더 이상 특별한 일이 아니라 제품을 만드는 기본 방식이 되는 단계입니다. 그다음 과제는 이 구조를 한 팀 안에 머물게 하지 않는 것입니다. 특정 리더나 데이터팀의 노력에 의존하던 실험의 언어와 리듬이 여러 팀과 제품 영역으로 넓게 퍼져야 합니다.
그게 바로 다음 단계인 네 번째, Diffusion입니다.
『데이터 실무자의 사고력 강화 : AI 인과추론 실무』는 크래프톤 데이터 분석가 신진수님과 함께 상관관계와 인과관계를 구분하는 사고 방식, 그리고 실무에서 실제로 활용되는 실험과 판단의 기준을 다루는 강의입니다.
단순히 분석하는 것을 넘어, “무엇이 무엇을 움직였는가”를 고민해보고 싶다면 추천드립니다.
0
0 
댓글