신진수
22시간 전
지난 Diffusion 편(바로가기) 끝에서 이런 질문을 남겼습니다.
“누가 시키지 않아도 중요한 결정을 앞두고 자연스럽게 가설을 세우고 검증하는 조직은 어떻게 만들어질까”
오늘은 그 마지막 단계, Embeddedness입니다. 실험이 더 이상 별도의 절차가 아니라 조직의 습관이 되는 단계입니다.
Awareness → Belief → Commitment → Diffusion → Embeddedness
어느 날 이런 순간이 옵니다. 제가 아무 말도 하지 않았는데, 옆 팀 기획자가 회의에서 먼저 이야기합니다.
“이건 바로 내지 말고, 먼저 확인하고 가죠.”
데이터팀에 요청이 들어온 것도 아니고, 리더가 지시한 것도 아닙니다. 중요한 결정을 앞두고 가설을 세우고 검증하는 일이 그저 자연스러운 업무 방식이 된 것이죠.
Embeddedness가 자리 잡았다는 가장 확실한 신호는 어쩌면 이것입니다.
“아무도 실험을 강조하지 않는데, 모두가 실험하고 있다는 것.”
Belief 편에서 부킹닷컴의 사례를 소개했습니다.
성수기를 앞두고 디자인 책임자가 홈페이지를 통째로 바꾸는 안을 제안했고, 실험 책임자조차 “이건 잘되지 않을 것”이라며 샴페인 내기를 걸었던 이야기입니다. (Link)
그때 저는 이 사례의 핵심이 승패가 아니라, 모두가 실패를 예상했는데도 조직이 실험을 막지 않았다는 데 있다고 말씀드렸습니다. 이제 다시 보면, 이 장면은 Belief를 넘어 Embeddedness에 가까운 모습이었습니다.
부킹닷컴에는 누구나 경영진의 허락 없이 아이디어를 테스트할 수 있다는 원칙이 있었습니다. CEO가 회의적이어도 실험을 막을 수 없었던 것은 누군가 특별히 용감했기 때문이 아닙니다. 검증하지 않고 결정하는 것이 오히려 더 어색한 조직이었기 때문입니다.
실험이 깊이 자리 잡은 조직에서 테스트는 데이터팀에 요청하는 별도의 절차가 아닙니다. 제품을 만드는 사람이 자연스럽게 취하는 기본 동작에 가깝지 않을까요?
Diffusion까지 조직은 실험할 수 있는 길을 만듭니다.
도구와 표준을 갖추고, 구성원에게 기본기를 가르치며, 누구나 실험할 수 있도록 권한을 넓힙니다.
하지만 길이 있다고 모두가 달리는 것은 아닙니다.
Diffusion이 “누구나 실험할 수 있다”라면, Embeddedness는 “누구도 시키지 않는데 자연스럽게 실험한다”에 가깝습니다.
진짜 시험대는 아무도 보고 있지 않을 때입니다. 일정이 촉박할 때, 결과가 뻔해 보일 때, 실험이 오히려 내 주장을 약하게 만들 수 있을 때도 확인하고 넘어가는가.
제도가 갖춰졌는데도 이 지점을 넘지 못하는 조직을 실무에서 자주 봅니다. 실험은 중요하다고 말하지만, 급한 순간에는 가장 먼저 생략됩니다. 문화가 아직 습관이 되지 않았기 때문입니다. Embeddedness는 실험을 해야 한다고 계속 설득하지 않아도, 하지 않는 쪽이 더 불편해지는 상태입니다.
그렇다면 무엇이 실험을 습관으로 만들까요?
저는 그 바닥에 “틀려도 괜찮다”는 감각이 있어야 한다고 생각합니다. Diffusion에서는 실패한 실험도 성과로 인정해야 한다고 이야기했습니다. Embeddedness에서는 그 원칙이 제도를 넘어 조직의 반응으로 나타납니다.
실험 결과가 예상과 달랐을 때 “왜 틀렸나”부터 묻기보다 “무엇을 새롭게 알게 되었나”를 먼저 묻는 것입니다.
저도 실무에서 실패한 실험을 공유한 사람에게 의도적으로 고마움을 표현하려고 했습니다. 좋지 않은 결과를 숨기지 않고 드러내야, 다음 팀이 같은 실수를 반복하지 않을 수 있기 때문입니다.
처음부터 결과를 알고 있다면 실험할 이유도 없습니다. 틀리는 것이 부끄럽지 않아야 확인하는 일이 자연스러워지고, 예상과 다른 결과를 받아들일 수 있어야 조직의 학습도 이어집니다.
이 습관이 무너지는 데는 오랜 시간이 걸리지 않습니다. 리더가 마음에 들지 않는 실험 결과를 한 번 뒤집는 것만으로도 충분합니다. 그 순간 구성원은 아주 빠르게 학습합니다.
“결국 데이터는 참고일 뿐이구나.”
“중요한 결정은 이미 정해져 있구나.”
Embeddedness는 조직에서 가장 높은 사람의 의견조차 실험 앞에서는 하나의 가설일 뿐이라는 믿음이 유지될 때 가능해집니다. 그래서 제가 중요하게 본 장면은 리더가 자신의 아이디어를 직접 실험에 올리고, 예상과 다른 결과가 나왔을 때 공개적으로 받아들이는 순간이었습니다.
리더가 자신이 틀렸다는 사실을 자연스럽게 인정하는 한 장면은 수십 번의 교육보다 강합니다. 조직은 리더가 무엇을 말하는지보다, 자신의 가설이 틀렸을 때 어떻게 행동하는지를 더 오래 기억합니다.
실험 문화는 아래에서 제안될 수 있지만, 위에서 지켜지지 않으면 습관이 되기 어렵습니다.
모두가 자유롭게 실험할 수 있게 되면 새로운 위험도 함께 생깁니다. 통계적으로 잘못된 실험뿐 아니라, 사람을 대상으로 해서는 안 될 실험까지 실행될 수 있기 때문입니다.
2014년 페이스북은 약 69만 명의 뉴스피드에 노출되는 콘텐츠를 조정해 감정이 전염되는지를 살펴본 연구로 큰 논란을 겪었습니다. 실험 결과는 학술지에 실렸지만, 이용자의 명확한 동의 없이 감정을 실험 대상으로 삼았다는 비판을 받았습니다.
이 사례가 보여주는 것은 단순합니다.
“누구나 실험할 수 있다”가 “무엇이든 실험해도 된다”는 뜻은 아니라는 것입니다.
실험이 널리 퍼질수록 윤리적 위험과 사용자 영향을 사전에 검토할 최소한의 절차가 필요합니다. 모든 실험을 무겁게 심사할 필요는 없지만, 위험도가 높거나 민감한 사용자를 대상으로 하는 실험은 별도의 검토를 거쳐야 합니다.
이런 심의는 자유를 막기 위한 장벽이 아닙니다. 실험할 수 있는 자유가 오래 유지되도록 지키는 안전장치입니다.
역설적이게도 실험이 가장 깊이 자리 잡은 조직에서는 실험이 잘 보이지 않습니다. 특별한 캠페인이나 이벤트가 아니라, 일상적인 업무의 일부가 되기 때문입니다.
데이터팀이 매번 실험을 챙기지 않아도 조직은 스스로 가설을 세우고 검증합니다. 분석가는 모든 결정의 중심에 서기보다, 신뢰할 수 있는 판단이 반복되도록 뒤에서 구조를 지키는 역할로 이동합니다.
어쩌면 데이터 조직의 최종 목표는 자신이 모든 실험을 대신해주는 것이 아니라, 자신이 직접 개입하지 않아도 조직이 스스로 실험하고 배울 수 있게 만드는 것인지도 모르겠습니다.
AI 시대에는 이런 습관의 가치가 더 커집니다. 도구와 분석 능력은 빠르게 보편화되고 있습니다. 가설 초안을 만들고, 코드를 작성하고, 결과를 요약하는 일은 누구나 비슷한 수준으로 수행할 수 있게 될 것입니다.
그럴수록 경쟁자가 쉽게 따라 하기 어려운 것은 기술이 아니라 조직의 반응 방식이 아닐까요?
이런 습관은 플랫폼을 도입하거나 인재를 채용한다고 하루아침에 생기지 않습니다. AI가 많은 것을 흔하게 만드는 시대에, 몸에 밴 실험 문화는 조직이 가진 가장 복제하기 어려운 자산이 될 수 있습니다.
A부터 E까지 데이터 기반 및 실험 문화를 만들기 위해서 우리는 이렇게 다섯 단계를 모두 지나왔습니다.
이렇게 다섯 단계를 모두 지나왔습니다. Awareness에서 시작해 Belief, Commitment, Diffusion을 거쳐 Embeddedness까지. 앞선 글에서 눈치채셨듯, 머리글자를 이으면 ABCDE가 되죠.
그런데 여기까지 읽으신 분들 중에는 이런 생각을 하신 분도 있을 겁니다.
우리 조직은 몇 년째 같은 자리인데.
혹은, 분명 잘 되고 있었는데 요즘 다시 예전으로 돌아간 것 같은데.
사실 이 다섯 단계에서 진짜 어려운 건 각 칸이 아니라 칸과 칸 사이입니다. 조직은 대부분 그 틈에서 멈추고, 때로는 미끄러져 내려오기도 하죠. 다음 글에서는 그 틈을 하나씩 들여다보려 합니다.
우리 조직의 위치를 스스로 가늠해 볼 수 있는 ABCDE Experimentation Culture에 대해 살펴보겠습니다.
함께 보면 좋은 강의
『데이터 실무자의 사고력 강화 : AI 인과추론 실무』는 크래프톤 데이터 분석가 신진수님과 함께 상관관계와 인과관계를 구분하는 사고 방식, 그리고 실무에서 실제로 활용되는 실험과 판단의 기준을 다루는 강의입니다.
단순히 분석하는 것을 넘어, “무엇이 무엇을 움직였는가”를 고민해보고 싶다면 추천드립니다.
0
0 
댓글