신진수
18시간 전
지난 Diffusion (바로가기)편에서 이런 장면을 이야기했습니다. 처음에는 핵심 지표를 보겠다고 했다가, 결과가 좋지 않으면 더 유리한 세그먼트나 보조 지표를 찾아내는 것. 저 역시 결과를 확인한 뒤 처음에 합의한 지표보다 더 좋아 보이는 숫자로 관심이 옮겨가는 장면을 여러 번 보았습니다.
그 순간 실험은 가설을 검증하는 도구가 아니라, 이미 내린 판단을 정당화하는 도구로 바뀝니다. 이 시리즈에서 저는 "믿을 수 있는 결과"라는 말을 여러 번 썼습니다. 하지만 지금까지는 대부분 태도와 원칙에 관한 이야기였죠. 정작 실무에서 제가 가장 많이 받는 질문은 훨씬 구체적입니다.
그래서 이 숫자, 믿어도 되는 건가요?
오늘은 원칙이 아니라, 결과를 받아 들었을 때 무엇을 어떤 순서로 확인하는지 이야기해보려 합니다.
가장 중요한 확인은 실험 결과를 보기 전에 끝나 있어야 합니다.
무엇을 보고 이겼다고 할지, 언제 멈출지가 결과를 본 뒤에 정해지면, 그때부터는 검증이 아니라 정당화가 되니까요. 성숙한 실험 조직의 문서를 보면 가설과 지표, 나아가 결정 기준까지 미리 적어둡니다.
중단 규칙: 필요 표본 수와 14일을 채우면 종료한다
출시 기준: 주요 지표가 3% 이상 개선되고, 가드레일 지표가 2% 이상 나빠지지 않는다
그리고 나중에 고칠 수 없도록 기록이 남는 곳에 쓰는 것이 좋다고 생각합니다. 그 이유는 결과를 본 뒤에 기준을 손대는 일을 구조적으로 막을 수 있기 때문이죠.
지난 글에서 실험 문화가 자리 잡기 시작한 계기가 문서화였다고 말씀드렸는데, 결국 같은 이야기입니다. 문서가 필요했던 이유는 기록을 남기기 위해서가 아니라, 결과를 보기 전에 합의를 끝내두기 위해서였습니다.
저는 결과 숫자를 보기 전에 그룹부터 봅니다.
반반(50:50)으로 나눴다는데 실제 도착한 인원이 다르다면, 결과를 볼 필요가 없기 때문입니다. 이걸 표본 비율 불일치(Sample Ratio Mismatch, SRM)라고 부르는데, 어긋남이 아주 작아도 결과를 통째로 뒤집습니다.
예를들어, 어떤 실험에서 매출이 2% 올랐습니다. 연으로 환산하면 10억 짜리 성과라고 가정해봅시다. 그런데 배정 비율이 50.1 대 49.9였습니다.
두 그룹간 차이 : 0.1%
눈으로는 아무 문제 없어 보이는 차이라고 생각되지 않나요?
차이가 나는 부분을 파고들어서 봤더니 사내 직원 계정이 실험군에만 배정되어 있었습니다. 일반 사용자보다 훨씬 자주 접속하는 이들의 활동이 매출을 부풀린 겁니다. 직원 데이터를 걷어내자 실제 증분은 0이었습니다.
중요한 건 SRM이 원인이 아니라 증상이라는 점입니다.
열이 병 자체가 아니라 신호이듯, 배정이 어긋났다는 건 어딘가에서 데이터가 새고 있다는 신호입니다. 대표적으로 로그 유실, 실험 중간의 버그 수정, 작업장(봇) 트래픽 같은 것들이죠.
그래서 실험을 오래 해온 조직일수록 이걸 경고가 아니라 퇴장으로 다룹니다. 걸리면 그 자리에서 분석을 멈춥니다.
이 사례를 처음 봤을 때 남의 이야기 같지 않았습니다. 저도 결과가 이상해서 파고들어 가면 대부분 원인이 실험 설계나 데이터 수집 단계에 있었거든요. 통계 방법론이 틀려서가 아니라, 애초에 비교 대상이 제대로 만들어지지 않았던 경우가 훨씬 많았습니다.
그래서 저는 결과 해석보다 설계 단계에 시간을 더 씁니다. 뒤에서 아무리 정교하게 분석해도, 앞에서 어긋난 것은 되돌릴 수 없으니까요.
그룹이 멀쩡하면 이제 결과를 봅니다.
실험 중간의 숫자는 계속 출렁입니다. 며칠 지켜보다가 "지금 이겼다" 싶을 때 멈추면, 이긴 게 아니라 이겨 보이는 순간을 고른 것입니다. 파도를 지켜보다가 물이 가장 높을 때 사진을 찍은 셈이죠.
"며칠 더 돌려볼까요?"가 결과를 본 뒤에 나왔다면, 그 실험은 이미 흔들린 것입니다.
개수도 마찬가지입니다. 지표 스무 개를 늘어놓으면 하나는 우연히 좋아 보이고, 사용자를 열 갈래로 쪼개면 한 갈래에서는 효과가 나타납니다. 그리고 대개 설명이 따라붙습니다. 역시 신규 유저에게 통했다고요.
미리 적어두고 확인한 것과, 결과를 본 뒤에 찾아낸 것은 완전히 다릅니다. 앞은 검증이고 뒤는 발견입니다. 발견이 나쁜 건 아니지만, 그건 결론이 아니라 다음 실험의 가설입니다. 그리고 이 모든 걸 통과했는데 효과가 유난히 크다면, 저는 오히려 조심스럽게 지표 해석에 접근합니다.
Any figure that looks interesting or different is usually wrong.
<Twyman's law>
Diffusion 편에서 작은 표본에서 나온 과장된 효과를 조심해야 한다고 했던 것도 같은 맥락입니다. 진짜 효과가 3%인데 표본이 적으면 어떤 날은 20%로, 어떤 날은 마이너스로 보이거든요.
무언가 놀라운 지표가 나왔다면, 실험 결과를 축하하기 전에 결함부터 찾아야 합니다. 버튼 문구를 바꿨는데 매출이 두 배가 되었다면, 그건 확인할 일이지 축하할 일이 아닙니다.
제가 가장 자주 마주친 착각은 따로 있습니다. 나쁘게 시작했는데 날마다 조금씩 좋아지는 경우입니다.
1일차 -0.55%
2일차 -0.38%
3일차 -0.21%
4일차 -0.13%
누구나 같은 생각을 합니다. 적응하느라 나빴는데 나아지고 있으니 며칠만 더 두면 플러스가 될 거라고요. 그럴듯하지만 대개 틀립니다. 이런 그래프는 누적으로 그려져서, 첫날의 큰 하락이 희석되는 것만으로도 저 모양이 나오거든요.
어떤 팀은 주 2~3건씩 실험을 돌릴 만큼 잘 운영되고 있었고 개별 실험은 계속 비즈니스 성과를 창출하는 상황이라고 해봅시다. 그런데 우리 제품의 주요 지표는 움직이지 않았어요. 10번이 넘는 실험을 배포할 즈음, 3번째 실험의 상승분은 이미 원래 자리로 돌아와 있었습니다.
사실은 비즈니스 성과를 창출하는 것처럼 보이는 실험이지 않았을까요?
제가 자주 사용하는 간단한 구분법은 아래와 같습니다. 신규 사용자와 기존 사용자를 나눠 봅니다. 신규에서만 이긴다면 그건 개선이 아니라 새로움에 대한 반응일 가능성이 큽니다.
실무에서도 비슷한 장면을 자주 봅니다. 특히, 출시 직후 지표가 반짝 좋아졌다가 며칠 뒤 제자리로 돌아오는 일이요. 그래서 요일 효과까지 고려해 최소 한 주는 지켜보려 하고, 이겼다고 판단한 뒤에도 한동안 지표를 더 따라갑니다.
이 순서를 밟다 보면 꽤 자주 “결론을 낼 수 없다”는 답에 도달합니다. 몇 주를 기다린 사람들 앞에서 그 말을 하기가 생각보다 어렵습니다.
실험을 오래 해온 조직에서는 이것이 정식 결과 분류로 존재합니다. 이겼다, 졌다와 나란히 "결론 없음"이라는 칸이 있는 것이죠. 기준도 분명합니다. 3% 이상이면 출시하기로 했는데 결과가 2% 상승에 오차 범위가 마이너스 1%에서 플러스 5%라면, 진 게 아니라 아직 모르는 겁니다.
"모르겠다"를 개인의 무능이 아니라 시스템이 미리 인정해둔 결과로 만들어두는 것
앞선 예시에서의 10억원의 가치를 가진 성과도, 실험 그룹의 배정 비율을 확인하지 않았다면 그대로 다음 분기의 방향이 되었을 겁니다.
Diffusion 편에서 제가 가장 중요하게 보는 신호는 실험 결과가 예상과 다를 때 사람들이 생각을 바꾸는가라고 했습니다. 그런데 그 전에 필요한 것이 하나 더 있더군요.
바꿀 만한 결과인지 아닌지를 가려내는 일입니다. 믿을 수 없는 숫자로는 생각을 바꿀 수도, 바꾸지 않을 수도 없으니까요.
이 분류가 없는 조직에서는 애매한 결과가 갈 곳을 잃습니다. 제가 본 가장 흔한 결말은 "그래도 방향은 맞으니까"로 넘어가는 것이었어요. 지난 글에서 실험이 통과 의례가 된다고 했던 상태가 대개 여기서 시작됩니다.
그래서 저는 결과가 애매하면 조건을 정리해 비슷한 환경에서 한 번 더 확인하는 쪽을 택합니다. 애매하다는 건 넘어가도 된다는 뜻이 아니라, 아직 배우지 못했다는 뜻이니까요.
여기까지 읽으시면 이런 생각이 드실 겁니다. 이걸 매번 다 확인한다고?
못 합니다. 저도 못 합니다. 그래서 자동화할 수 있도록 시스템에게 반영하거나 AI에게 위임해야 합니다. 배정 비율은 자동으로 검사되게 하고, 표본이 부족하면 경고가 뜨게 하고, 결과 화면에 처음 정한 지표를 함께 보이게 하는 식으로요.
이전 ABCDE 단계에서 데이터팀이 모든 실험을 대신 검토하면 병목이 된다고 했습니다. 신뢰성 확인도 마찬가지입니다. 사람이 일일이 챙기는 방식으로는 실험이 늘어나는 속도를 따라갈 수 없습니다.
사람이 기억으로 지키는 규율은 바쁜 순간에 무너지고, 도구가 지키는 규율만 남더라고요.
이건 저에게도 여전히 진행 중인 과제입니다. 배정과 표본처럼 기준이 분명한 것은 자동으로 걸러낼 수 있지만, 이 결과를 신뢰해도 되는지에 대한 최종 판단은 아직 사람의 몫으로 남아 있더라고요.
더 자세한 확인 방법은 제 강의 25강 “비즈니스 결과의 신뢰성 검증”에서 다뤘으니 함께 보셔도 좋겠습니다.
지금까지의 이야기에는 전제가 하나 있었습니다. 우리가 실험을 돌릴 수 있다는 것이죠. 그런데 실무에서 정말 중요한 결정일수록 A/B로 쪼개기가 어렵습니다. 가격을 바꾸는 일, 신규 프로덕트를 런칭하는 일, 대규모 업데이트를 적용하는 일. 하필 이런 결정이 우리 제품과 회사의 방향을 훨씬 크게 좌우합니다.
실험 문화의 완성은 실험을 더 많이 하는 것도 중요하지만, 실험이 불가능할 때 무엇을 해야 하는지 아는 것도 챙겨야하지 않을까요?
다음 글은 Beyond Experiments입니다.
함께 보면 좋은 강의
『데이터 실무자의 사고력 강화 : AI 인과추론 실무』는 크래프톤 데이터 분석가 신진수님과 함께 상관관계와 인과관계를 구분하는 사고 방식, 그리고 실무에서 실제로 활용되는 실험과 판단의 기준을 다루는 강의입니다.
단순히 분석하는 것을 넘어, “무엇이 무엇을 움직였는가”를 고민해보고 싶다면 추천드립니다.
0
0 
댓글