신진수
11시간 전
지난 글(바로가기)에서는 Diffusion이 단순히 실험 권한을 넓히는 단계가 아니라는 이야기를 했습니다. 오늘은 Diffusion 그 두 번째 이야기를 하려고 합니다.
누구나 실험할 수 있게 만들면서도 그 결과를 계속 믿을 수 있도록, 4가지 (도구와 표준, 교육, 운영 방식)를 함께 설계해야 한다는 것이었죠.
오늘은 그다음 이야기를 해보려 합니다. 실험할 수 있는 사람과 실험의 수가 늘어났다면, 조직은 정말 이전보다 더 잘 배우고 있을까요?
Awareness → Belief → Commitment → Diffusion → Embeddedness
Diffusion이 진행될수록 조직은 자연스럽게 실험의 규모를 측정하기 시작합니다.
이번 분기에 몇 건의 실험을 했는지, 지난해보다 얼마나 늘었는지, 어느 팀이 가장 활발하게 실험하는지를 숫자로 관리하죠.
실험 수는 분명 중요한 지표입니다. 더 많은 팀이 실험에 참여하고 있는지, 하나의 실험을 시작하는 데 드는 비용이 낮아지고 있는지를 보여주기 때문입니다. 하지만 제가 실무에서 느낀 문제는, 측정하기 쉬운 숫자가 어느 순간 목적이 되기 쉽다는 점입니다.
AI Native 조직을 만들겠다며 구성원의 AI 토큰 사용량을 성과 지표로 삼는 것과 비슷합니다. 사용량이 많다고 해서 반드시 더 중요한 문제를 풀고 있는 것은 아니듯, 실험 횟수가 많다고 해서 조직이 더 잘 배우고 있다는 뜻은 아닙니다.
실험 수가 목표가 되면 조직은 중요한 질문보다 쉽게 실행할 수 있는 테스트를 더 많이 만들기 시작합니다. 유저의 경험을 바꾸는 실험보다는 단순 버튼의 색상이나 문구를 바꾸는 실험은 빠르게 늘어납니다. 반면 가격 정책, 비즈니스 모델, 핵심 제품 경험처럼 정말 중요한 결정은 여전히 회의와 직관, 혹은 상위 의사결정자의 판단에 따라 정해질 수 있습니다.
실험을 많이 한다는 것과 중요한 결정을 실험으로 내린다는 것은 전혀 다른 문제입니다.
그래서 Diffusion이 잘되고 있는지를 보려면 실험 건수 밖의 지표도 함께 봐야 합니다.
제가 더 중요하게 보는 신호는 따로 있습니다.
“실험 결과가 예상과 다를 때, 제품을 만드는 사람들이 자신의 생각을 바꾸는가.”
실험은 많이 하지만 아무도 생각을 바꾸지 않는다면, 늘어난 것은 실험의 생산량일 뿐 학습의 양은 아닙니다.
우리가 가설을 세우고 실험을 반복하는 이유는 더 많은 결과를 만들어내기 위해서가 아닙니다. 고객에게 더 나은 제품을 만들고, 그 과정에서 발견한 실수와 배움을 조직의 자산으로 축적하기 위해서입니다.
Diffusion은 데이터팀이 모든 과정을 직접 통제하지 않아도, 신뢰할 만한 실험과 학습이 반복해서 만들어지는 구조를 만드는 단계입니다.
조직에서는 대체로 성과가 좋았던 실험이 더 많이 공유됩니다. 전환율을 높인 사례, 매출을 끌어올린 사례, 리텐션을 개선한 사례가 사내 발표와 문서에 남습니다.
반대로 효과가 없었거나 예상과 반대의 결과가 나온 실험은 조용히 사라지는 경우가 많습니다. 하지만 실험이 실제로 만드는 가치의 상당 부분은 성공한 기능이 아니라, 잘못된 결정을 미리 막는 데서 나옵니다.
몇 달 동안 개발하려던 기능이 고객에게 별다른 가치를 만들지 못한다는 사실을 작은 실험으로 확인했다면, 그것도 분명한 성과입니다. 더 큰 투자를 하기 전에 가설을 폐기했고, 조직의 시간과 자원을 아꼈기 때문입니다.
실무에서는 이런 결과가 성과로 인정받기 어렵다는 문제도 있습니다. 새로운 기능을 출시한 사람은 눈에 보이는 결과를 남깁니다. 반면 출시하지 않기로 결정한 사람은 아무 일도 하지 않은 것처럼 보일 수 있습니다.
조직이 성공 사례만 보상하기 시작하면 구성원은 부정적인 결과를 숨기거나, 애매한 결과를 억지로 성공처럼 포장하게 됩니다. 처음에는 핵심 지표를 보겠다고 했다가 결과가 좋지 않으면 더 유리한 세그먼트나 보조 지표를 찾아내는 식입니다.
저 역시 결과를 확인한 뒤 처음에 중요하다고 합의한 지표보다, 더 좋아 보이는 다른 숫자에 관심이 옮겨가는 장면을 여러 번 보았습니다. 이 순간 실험은 가설을 검증하는 도구가 아니라, 이미 내린 판단을 정당화하는 도구로 바뀝니다.
실험 문화가 자리 잡으려면 “무엇을 만들었는가”뿐 아니라 “무엇을 만들지 않기로 했는가”도 학습의 결과로 인정해야 합니다. Diffusion은 모든 실험의 성공률을 높이는 단계라기보다, 조직이 틀렸을 때 치러야 하는 비용을 낮추는 단계에 더 가깝습니다.
실험의 규모가 커질수록 데이터 조직의 역할도 달라져야 합니다.
Commitment 단계에서 데이터팀은 좋은 실험을 직접 설계하고 실행하는 역할을 맡습니다. 조직 안에 성공 사례를 만들고, 실험이 실제 의사결정에 도움이 된다는 사실을 증명해야 하기 때문입니다.
하지만 Diffusion 단계에서도 같은 방식으로 일하면 데이터팀은 곧 병목이 됩니다. 모든 실험의 가설을 검토하고, 분석을 직접 수행하며, 결과까지 대신 설명할 수는 없습니다.
실무에서도 비슷한 장면을 자주 볼 수 있습니다. 실험을 시작할 때는 각 팀이 주도하지만, 결과가 애매해지는 순간 판단은 다시 데이터팀으로 돌아옵니다. 핵심 지표와 보조 지표가 서로 다른 방향을 가리키거나, 세그먼트마다 결과가 다르게 나타나면 “그래서 어떤 결정을 내려야 하느냐”는 질문이 데이터팀에 몰립니다.
실험 권한은 여러 팀에 나뉘었지만, 해석과 판단의 책임은 여전히 데이터팀에 남아 있는 것입니다. 이런 구조에서는 실험 수가 늘어날수록 데이터팀의 병목도 함께 커집니다.
그래서 Diffusion 단계의 데이터팀은 좋은 실험을 직접 만드는 팀에서, 좋은 실험이 반복해서 만들어지는 시스템을 설계하는 팀으로 이동해야 합니다. 직접 운전하는 사람에서 누구나 안전하게 달릴 수 있도록 도로와 신호 체계를 만드는 사람으로 역할이 바뀌는 것이죠.
실험 플랫폼을 만들고, 공통 지표를 관리하고, 품질 경고를 설계하며, 실험 간 충돌을 관리하는 일도 여기에 포함됩니다. 개별 실험을 하나씩 해석하는 데서 그치지 않고, 여러 실험을 모아 조직이 무엇을 반복해서 배우고 있는지를 읽어내야 합니다.
Diffusion에서 중요한 것은 좋은 실험 하나를 성공시키는 일이 아닙니다. 같은 실수가 반복되지 않고, 신뢰할 수 있는 실험이 계속 만들어지는 구조를 만드는 일입니다.
실무자는 개별 실험의 결과를 대신 해석하는 사람을 넘어, 조직이 올바르게 실험하고 배울 수 있는 시스템을 설계하고 지켜나가야 합니다.
실험이 많아질수록 개별 결과를 잘 해석하는 것만으로는 부족합니다. 비슷한 실험이 여러 팀에서 반복되고 있는지, 이미 실패한 가설이 다시 제안되고 있는지, 특정 사용자군에서 같은 패턴이 나타나는지를 함께 봐야 합니다.
저도 실무에서 실험이 끝날 때마다 배경과 가설, 결과를 문서로 남겨왔습니다. 하지만 비슷한 과제가 다시 등장하면 과거 실험을 연결하기보다 처음부터 분석을 다시 시작하는 경우가 많았습니다. 문서는 쌓였지만, 어떤 가설이 이미 검증되었고 무엇을 배웠는지 쉽게 찾기 어려웠기 때문입니다.
수많은 실험이 각각 문서 하나로 끝난다면 결과는 쌓여도 지식은 남지 않습니다. 가설과 대상, 핵심 지표, 결과, 최종 결정과 후속 학습이 검색하고 연결할 수 있는 형태로 축적되어야 합니다.
AI 시대에는 이 문제가 더 중요해집니다. AI가 과거 실험을 바탕으로 새로운 가설을 제안하고 의사결정을 도우려면, 먼저 학습할 수 있는 지식 기반이 있어야 합니다. 문서만 많이 저장하고 맥락과 결정이 구조화되어 있지 않다면, 조직은 많은 결과를 가지고도 AI가 활용할 수 있는 지식 베이스를 만들지 못합니다.
Diffusion 단계의 데이터 조직은 개별 실험의 결과를 판정하는 역할을 넘어, 흩어진 실험과 배움을 연결해 조직의 지식으로 만드는 역할까지 나아가야 합니다.
AI는 가설 작성과 지표 제안, 분석 코드 생성, 결과 요약까지 도우며 실험의 문턱을 빠르게 낮추고 있습니다. 하지만 실험을 만드는 속도가 빨라진다고 조직의 학습 속도까지 저절로 빨라지는 것은 아닙니다.
AI가 수많은 분석 결과를 만들어도 이를 제대로 검토하고 의사결정으로 연결하지 못하면, 쌓이는 것은 지식이 아니라 해석되지 않은 결과입니다. 앞으로는 실험을 실행하는 능력보다 무엇을 검토하고 의심해야 하는지 판단하는 능력이 더 희소해질 수 있습니다.
실무에서도 통계 결과나 데이터를 두고 “AI는 된다고 하는데요?”라는 질문을 종종 받습니다. 하지만 AI가 자신 있게 답했다는 사실이 그 분석의 타당성을 보장하지는 않습니다. 작은 표본에서 나온 과장된 효과나 결과를 확인한 뒤 발견한 세그먼트 차이도 자연스러운 문장으로 설명되면 충분히 그럴듯해 보일 수 있습니다.
과거에는 SQL이나 Python 코드가 잘못되면 오류가 비교적 명확하게 드러났습니다. 이제는 코드도 정상적으로 실행되고 설명도 자연스럽지만, 정작 출발점인 질문과 가설이 잘못된 분석이 더 많이 만들어질 수 있습니다. 결과가 그럴듯할수록 무엇이 잘못되었는지 알아차리기는 오히려 어려워집니다.
그래서 AI 시대에는 표준과 가드레일이 더욱 중요합니다. AI가 계산과 요약을 대신할수록 사람은 무엇을 검증할지, 어떤 지표를 믿을지, 어떤 결과가 나오면 행동을 바꿀지를 먼저 합의해야 합니다. 그래야 AI도 조직의 원칙과 맥락 안에서 더 나은 의사결정을 돕는 도구로 작동할 수 있습니다.
하나의 실험을 대신 잘해주는 조직에서, 신뢰할 수 있는 실험과 학습이 반복해서 확산되는 조직으로.
Diffusion은 그 전환을 뜻합니다.
그리고 실험이 모두의 기본기로 퍼지고 나면 마지막 질문이 남습니다.
“누가 시키지 않아도 중요한 결정을 앞두고 자연스럽게 가설을 세우고 검증하는 조직은 어떻게 만들어질까요?”
실험이 별도의 절차가 아니라 조직의 습관이 되는 단계. 그게 마지막 단계인 Embeddedness입니다.
『데이터 실무자의 사고력 강화 : AI 인과추론 실무』는 크래프톤 데이터 분석가 신진수님과 함께 상관관계와 인과관계를 구분하는 사고 방식, 그리고 실무에서 실제로 활용되는 실험과 판단의 기준을 다루는 강의입니다.
단순히 분석하는 것을 넘어, “무엇이 무엇을 움직였는가”를 고민해보고 싶다면 추천드립니다.
0
0 
댓글