신진수
21시간 전
지난 Embeddedness(바로가기) 편에서 다섯 단계를 모두 지나왔습니다.
Awareness → Belief → Commitment → Diffusion → Embeddedness
그리고 이런 질문을 남겼습니다.
“우리 조직은 몇 년째 같은 자리인데... 분명 잘 되고 있었는데 요즘 다시 예전으로 돌아간 것 같은데…”
그런데 이야기를 들어보면 대개 어느 한 칸에 딱 들어맞지 않습니다. 실험은 돌리는데 중요한 결정은 여전히 회의로 정해지거나, 도구는 다 갖췄는데 아무도 쓰지 않거나. 정확히는 어느 칸에 있는 게 아니라, 칸과 칸 사이에 걸쳐 있는 것이죠.
각 단계가 무엇인지는 앞선 일곱 편에서 다뤘으니 오늘은 반복하지 않겠습니다. 대신 이 화살표들에 대해 이야기해보려 합니다. 제가 경험했던 조직들에서는 실제로 멈춰 있던 자리는 다섯 개의 칸이 아니라, 네 개의 화살표에 가까웠어요.
첫 번째 간극은 조용합니다. 시작하는 과정이다보니 반대하는 사람이 없기 때문입니다.
"우리 회의에 의견이 너무 많다"
는 데는 다들 동의합니다. 실험이 필요하다는 말에도 고개를 끄덕입니다. 그런데 몇 달이 지나도 첫 실험은 시작되지 않습니다.
이유는 첫 번째가 되는 비용이 크기 때문입니다. 시간이 들고, 대부분은 실패하고, 무엇보다 자기 팀이 지금까지 해온 결정이 틀렸다고 밝혀질 수 있습니다. 그래서 다들 "좋은 방향이죠"라고 말하며 다른 팀이 먼저 하기를 기다립니다.
제 첫 실험도 거창한 결심에서 시작되지 않았습니다. 개인화 메시징 영역이었는데, 계기는 의외로 실무적이었어요. 당시 쓰던 도구의 계약 갱신 시점이 다가오면서, 상위 조직장이 이왕이면 기능을 더 활용해 프로덕트 지표를 올려보자고 제안한 것이 출발점이었습니다. 지표가 우상향하던 제품도 아니었던 터라 큰 주목을 받지 못했고, 단기 TF 형태로 움직였습니다.
그런데 그때 저희가 한 가지 실수를 했습니다. 첫 시작인데 실험을 크게 잡았어요. 병렬로 다섯 개 이상을 동시에 돌리려고 했습니다.
결과는 예상과 달랐습니다. 관리가 복잡해졌고, 여러 실험의 결과를 한 번에 놓고 해석하는 일도 처음에는 쉽지 않았습니다. 그 뒤로는 방식을 바꿨습니다. 한 기간에는 하나의 실험을 작게 진행하는 것으로요.
처음에 필요한 건 대단한 결과가 아니라, 하나를 끝까지 완주해보는 경험이었습니다.
Belief 편에서 이야기한 작은 균열은, 대개 이렇게 사소해 보이는 실험에서 시작되더라고요.
두 번째 틈에서 가장 많이 막힙니다.
인상적인 실험이 한두 개 나왔고, 사람들도 놀랐고, 리더도 칭찬했습니다. 그런데 그다음부터 아무것도 바뀌지 않습니다. 실험은 여전히 그 팀만 하고, 바쁜 업무 성수기가 오면 그마저 멈춥니다.
제 경험도 비슷했습니다. 실험을 반복하다 보니 작은 성공이 하나 생겼는데, 거기까지는 응원과 지원을 받았습니다. 그런데 실제로 프로세스와 규칙이 잡히기 시작한 건 그 성공 이후부터였어요.
그 약속은 거창한 선언이 아니라 문서화의 형태로 왔습니다. 이유는 분명했습니다.
“결국 데이터 분석가만 실험하는 게 아니라, 제품을 만드는 모든 구성원이 실험할 수 있는 체계가 필요했기 때문입니다.”
여기서 하나 짚고 싶은 것이 있습니다. 응원과 지원은 보통 상위 조직장에게서 옵니다. 그런데 실험 문화나 데이터 기반 의사결정 문화는 위에서 내려오는 지지만으로 만들어지지 않습니다. 실무에서 올라오는 노력도 함께 있어야 합니다.
즉, 위에서의 지지(Top-line)와 아래에서의 실행(Bottom-line)이 중간 어딘가에서 만나야 비로소 약속이 됩니다. 짝사랑처럼 있으면 대개 흐지부지되더라고요.
세 번째 틈은 조금 얄궂습니다. 오히려 잘되고 있어서 생기는 문제이기 때문입니다.
한 팀이 실험을 잘합니다. 성과도 좋고, 사내 발표에서 박수와 격려도 받습니다. 그런데 그 방식이 다른 팀으로 잘 퍼지지 않는 경우를 자주 봤습니다.
제가 마주한 이유는 크게 두 가지였습니다. 하나는 안타깝지만 현실적인 이유입니다. 그 제품의 서비스가 종료되면서 쌓아온 방식도 함께 사라지는 경우죠. 제 케이스이기도 합니다.
다른 하나는 조직문화에서 옵니다.
"우린 그거 안 해도 잘 되는데"
지금 지표가 잘 나오니 굳이 검증할 필요가 없다는 태도입니다. 그런데 매출이나 트래픽 같은 결과 지표는 결국 유저 경험의 합입니다. 지금 숫자가 좋다는 것이 우리가 옳은 판단을 하고 있다는 증거는 아닙니다. 실무에서는 이 부분을 간과한 채 이야기하는 경우가 종종 있습니다.
그래서 이 틈을 건너려면 잘하는 팀을 더 잘하게 만드는 것보다, 다른 팀도 실패하지 않게 만드는 쪽이 중요합니다. 초기에는 실험 플랫폼이 없어 도구의 문제가 먼저 보이지만, 길게 보면 결국 의사결정도 조직 문화도 사람이 만듭니다.
“확산은 성공 스토리가 반복해서 쌓일 때 비로소 강화됩니다.”
Diffusion 편에서 이야기한 도구와 표준은 그 반복을 가능하게 만드는 장치였던 셈입니다.
마지막 틈은 앞의 셋과 성격이 다릅니다. 여기서 조직은 멈춰 있는 게 아니라, 열심히 하고 있는데도 넘어가지 못합니다.
도구도 있고 표준도 있으니 실험은 활발합니다. 다만 어느 순간부터 형식이 됩니다. 이미 하기로 정한 것을 확인하려고 실험을 돌리고, 결과가 애매하면 "그래도 방향은 맞으니까"로 넘어갑니다.
솔직히 말하면 실무에서는 이런 경우가 더 많습니다. 명확하게 이기거나 진 실험보다, 애매하게 끝나는 실험이 훨씬 많으니까요.
다만 여기서 갈립니다. 애매한 결과를 방향이 맞다는 이유로 그냥 통과시키는 조직과, 조건을 다시 정리해서 비슷한 환경에서 한 번 더 확인하는 조직이요. 저는 후자를 택하려고 하는 편입니다. 애매하다는 건 아직 배우지 못했다는 뜻이지, 넘어가도 된다는 뜻은 아니기 때문입니다.
물론 실험 결과를 알면서도 다른 결정을 내려야 할 때가 있습니다. 조직과 제품이 나아가려는 방향이 분명하고, 단기 지표보다 그 방향이 중요하다고 판단될 때죠. 실험이 활성화된 조직에서도 이런 결정은 존재합니다. 특히 한 번도 해보지 않은 큰 시도일수록 그렇습니다.
중요한 건 그 결정이 데이터를 무시한 것인지, 알고도 감수한 것인지의 차이입니다.
결과를 모른 채 내리는 결정과, 무엇을 포기하는지 알고 내리는 결정은 전혀 다릅니다.
이 틈에는 새로 만들 것이 없습니다. 도구를 더 사도, 교육을 더 해도 넘어가지지 않습니다. 필요한 건 실험 결과 때문에 실제로 계획을 접거나 다시 확인해본 경험, 그리고 그렇게 한 사람이 손해 보지 않았다는 확인입니다. 그것이 반복되어야 실험이 의식이 아니라 판단이 됩니다.
여기까지가 올라가는 이야기였습니다. 그런데 이 그림에는 빠진 것이 있는데요, 바로 실험 문화는 한번 도달하면 유지되는 상태가 아니라는 것입니다.
제가 겪은 가장 큰 변수는 리더 교체였습니다. 리더가 바뀌면 조직 특성상 하위 조직도 자연스럽게 개편되고, 새로운 프로젝트가 시작됩니다. 그러면서 비슷한 일이 반복됩니다.
흥미로운 건 이때 쌓아온 조직 문화가 극적으로 사라지지는 않는다는 점입니다.
사라진다기보다, 계속 뒤로 밀립니다.
사람이 바뀌면 그 사람들이 만들던 문화도 함께 옅어집니다. 우선순위도 바뀝니다. 잘해온 것을 이어가려는 마음이 없어서가 아니라, 새로운 환경에 적응하는 일이 구성원들의 우선순위가 되기 때문입니다. 그렇게 한 분기, 두 분기 밀리다 보면 어느새 예전의 자리로 돌아와 있습니다.
그래서 저는 이 다섯 단계가 사다리보다 톱니에 가깝다고 생각합니다. 계속 힘을 주지 않으면 미끄러집니다. 그리고 지키는 일은 올리는 일보다 티가 나지 않습니다. 올라갈 때는 성과가 보이지만, 지킬 때는 아무 일도 일어나지 않는 것이 성과이기 때문입니다.
조직 문화의 후퇴는 대개 조용히 옵니다. 실험 건수는 그대로인데 중요한 결정이 하나둘 실험을 비껴가고 결과와 다른 방향의 결정이 늘어나고 실패한 실험 이야기가 회의에서 사라지고, 숫자보다 대화에서 먼저 나타납니다.
저 또한 잊혀진 실험 문화를 되돌리는 일은 지금도 하고 있습니다. 제가 찾은 방법은 의외로 단순했어요. 제품을 만드는 구성원들과 의도적으로 시간을 많이 보내는 것입니다. 프로세스나 문서보다 관계에서 다시 시작되는 경우가 많더라고요. 결국 문화를 만드는 것도, 되돌리는 것도 사람이니까요.
처음의 질문으로 돌아가 보겠습니다. 거창한 진단표는 필요 없고, 네 가지만 물어보면 됩니다.
앞에서부터 순서대로 물었을 때 처음 "아니오"가 나오는 곳, 거기가 지금 우리가 서 있는 틈입니다. 그 틈이 무엇인지, 그리고 조직적으로 해결할 수 있는 지 집중해서 보는 연습이 필요합니다.
이 시리즈에서 저는 "믿을 수 있는 결과"라는 말을 여러 번 썼습니다. Belief 편에서는 충격적인 결과일수록 의심하라고 했고, Commitment 편에서는 모두가 같은 지표 위에 서야 한다고 했습니다. 돌아보면 다 태도와 원칙에 관한 이야기였습니다.
그런데 실무에서 제가 가장 많이 받는 질문은 훨씬 구체적입니다.
그래서 이 숫자, 믿어도 되는 건가요?
다음 글에서는 그 질문에 답해보려 합니다. 실험 결과를 받아 들었을 때 무엇부터 확인하는지, 어떤 신호가 보이면 결론을 미뤄야 하는지. 원칙이 아니라 실제로 짚어보는 순서에 관한 이야기, Trustworthy Numbers입니다.
함께 보면 좋은 강의
『데이터 실무자의 사고력 강화 : AI 인과추론 실무』는 크래프톤 데이터 분석가 신진수님과 함께 상관관계와 인과관계를 구분하는 사고 방식, 그리고 실무에서 실제로 활용되는 실험과 판단의 기준을 다루는 강의입니다.
단순히 분석하는 것을 넘어, “무엇이 무엇을 움직였는가”를 고민해보고 싶다면 추천드립니다.
0
0 
댓글