한 번의 실험이 조직을 바꾼다: 믿음이 생기는 순간, Belief

channel_editor_icon 신진수

3시간 전

지난 글 (바로 가기)에서 우리는 Awareness, 즉 "우리 회의실엔 사실보다 의견이 너무 많다"는 자각을 이야기했습니다. 그리고 마지막에 자각만으로는 조직은 쉽게 바뀌지 않는다고 적었습니다.

그렇다면 조직은 언제 실제로 움직이기 시작할까요?

거대한 전략이나 완벽한 분석이 아닙니다. 시작은 대개 한 번의 작은 실험입니다. 누군가의 확신에 균열을 내고, “생각보다 결과로 확인해볼 수 있겠는데?”라는 경험을 만드는 순간. 그때 조직은 다음 단계로 넘어갑니다.

Awareness → Belief → Commitment → Diffusion → Embeddedness

1. 샴페인의 결말, 그리고 Belief란 무엇인가

이번 글은 부킹닷컴의 한 사례로 시작하겠습니다. 호텔 성수기를 앞두고 한 디자인 책임자가 홈페이지를 통째로 갈아엎는 실험을 제안했습니다. 내부에서도 성공 가능성을 낮게 봤지만, 회사는 그 실험을 막지 않았습니다.

이 이야기의 핵심은 결과의 승패가 아닙니다. 중요한 것은 모두가 실패를 예상하는 상황에서도, 회사가 결과를 미리 단정하지 않고 테스트로 확인하는 쪽을 택했다는 점입니다.

그것이 Belief 단계의 모습입니다.

5단계 모델에서 Belief는 두 번째 단계입니다. 조직이 “인과를 따지려면 더 체계적인 접근이 필요하다”는 사실을 받아들이고, 도구를 들이며, 작은 실험 전담 역할을 만들기 시작하는 단계입니다. 다만 이때까지 실험이 실제 의사결정에 미치는 영향은 아직 제한적입니다.

Awareness가 "우리가 추측으로 결정하고 있구나"라는 자각이라면, Belief는 "그럼 추측 대신 실험으로 확인해보자"고 한 발 내딛는 순간입니다.

2. 믿음은 설득이 아니라 충격에서 온다

데이터 기반 문화를 만들어가는 과정에서, 조직이 실험을 믿게 만드는 것은 인과추론을 설명하는 멋진 발표가 아니었습니다. 오히려 가장 강력했던 것은 누구도 쉽게 반박할 수 없는 결과 하나였습니다.

실무에서 자주 본 장면이 있습니다. 어떤 지표가 출렁이면, 회의실의 누군가가 자신 있게 원인을 단정합니다.

“이건 분명 그 캠페인 때문이야.”
“그 기능 때문에 떨어진 거야.”

다들 어느 정도 고개를 끄덕입니다. 그런데 데이터를 제대로 뜯어보면, 실제 원인이 전혀 다른 곳에 있는 경우가 많았습니다. 같은 시기에 겹친 다른 변화 때문이었거나, 애초에 비교 대상이 잘못 묶여 생긴 착시였던 경우도 있었습니다.

그 한 번의 반증이, 백 번의 “인과를 따져야 합니다”라는 말보다 강했습니다. 모두가 확신하던 가설이 데이터 앞에서 무너지는 장면을 직접 보면, 사람은 그제야 멈춥니다.

“내 직관이 틀릴 수도 있구나.”

믿음은 그렇게 생깁니다. 누군가를 설득해서가 아니라, 내 판단이 한 번 깨지는 경험을 통해서입니다.

3. 그런데 충격적인 결과일수록, 먼저 의심하라

다만 분석가로서 가장 경계해야 하는 순간도 바로 이때입니다. 결과가 충격적일수록, 먼저 의심해야 합니다.

실무에서 눈이 휘둥그레지는 수치, 예를 들어 전환율이 몇백 퍼센트 뛰었다는 결과는 대부분 그대로 믿기 어려웠습니다. 표본이 너무 작았거나, 처치 그룹과 대조 그룹의 배정이 어긋났거나, 데이터 수집 과정 어딘가에 문제가 있는 경우가 많았습니다.

실험을 망치는 것은 대개 어려운 통계가 아닙니다. 오히려 기본적인 신뢰성의 문제입니다.

그래서 Belief 단계에서 중요한 것은 최신 통계 방법론이나 화려한 분석이 아닙니다. 먼저 필요한 것은 믿을 수 있는 숫자입니다. 숫자를 얻는 것은 쉽지만, 믿을 수 있는 숫자를 얻는 것은 어렵습니다. 그리고 바로 이 지점이 데이터 분석가가 믿음을 지키는 자리입니다.

막 생겨난 믿음은 첫 실험이 어설프게 틀리는 순간 쉽게 무너집니다. 잘못된 결과의 진짜 비용은 그 순간의 손해에 그치지 않습니다. 더 큰 문제는 그 결과를 믿고 이후의 로드맵 전체를 엉뚱한 방향으로 끌고 갈 수 있다는 점입니다.

반대로 첫 실험이 단단하면, 조직은 처음으로 “데이터로 결정한다”는 경험을 신뢰하게 됩니다.

이 신뢰성을 실제로 어떻게 점검하는지가 궁금하다면, 제 강의 25강 「비즈니스 결과의 신뢰성 검증」에서 구체적인 방법을 다뤘으니 함께 보셔도 좋겠습니다.

지난 글의 쿠폰 사례를 떠올려보면 더 명확합니다. 데이터는 상관을 보여줄 수 있지만, 인과를 저절로 알려주지는 않습니다. 두 숫자가 나란히 움직인다고 해서 하나가 다른 하나의 원인인 것은 아닙니다. 그 뒤에 숨은 진짜 원인을 가려내는 것이 잘 설계된, 그리고 믿을 수 있는 실험입니다.

4. 한두 번의 승리로는 부족한 이유

Belief는 매력적이지만 취약한 단계입니다. 실험 문화를 만드는 과정에서 가장 자주 부딪히는 벽도 이 지점에 있습니다.

첫째, 믿음은 아직 개인적입니다. 좋은 실험 하나를 보고 감명을 받은 몇 사람이 생겼을 뿐, 그것이 조직의 자산으로 자리 잡은 것은 아닙니다. 그 사람이 자리를 옮기면 믿음도 함께 흔들립니다.
둘째, 사람은 자기에게 유리한 결과만 믿고 싶어 합니다. 내 가설을 확인해주는 결과는 쉽게 받아들이고, 내 생각과 다른 결과에는 어떻게든 이유를 찾습니다. 이 편향을 넘지 못하면, 실험은 다시 자기 주장을 뒷받침하는 도구로 돌아갑니다.
셋째, 실험의 타율은 생각보다 낮습니다. 열 번 돌리면 한두 번 성공하는 것이 오히려 자연스럽습니다. 그런데 조직은 한 번의 성공에는 쉽게 들뜨고, 바로 다음 실패에서는 금세 회의적으로 돌아섭니다.