여기, 빠르게 변하는 트렌드로 인한 지속적인 변화를 수용하고, 비즈니스의 모든 측면에 데이터 기반 실험을 도입하기 위해 데이터 메시를 도입해 운영하는 가상의 글로벌 음악 스트리밍 회사인 다프 주식회사가 있습니다.

다프는 ‘삶의 모든 순간에 몰입도 높은 예술적 경험으로 전 세계 아티스트와 청취자를 연결한다는’ 사명을 성공적으로 이루었습니다. 이러한 다프의 사명은 데이터, 분석, 머신 인텔리전스에 기반한 데이터 메시 형태로 실현하고 있습니다. 다프는 어떻게 기존 아키텍처에서 데이터 메시로 전환하게 되었을까요?

데이터 활용의 새로운 접근 방식, 데이터 메시

데이터 기반 기업들은 데이터에서 가치를 쉽고 빠르게 창출할 수 있도록, 저마다의 규칙에 맞춰 데이터를 소유하고 있습니다. 이러한 규칙으로 이루어진 데이터 구조를 데이터 아키텍처라고 합니다.

데이터 아키텍처 중 가장 먼저 도입된 개념은 데이터 웨어하우스^{data warehouse} 입니다. 창고^warehouse라는 이름에 걸맞게 정형 데이터가 나열되어 있는 아키텍처를 가리킵니다. 그러나 음악이나 동영상 파일 같은 비정형 데이터는 사용하지 어렵다는 단점이 있죠.

데이터 웨어하우스의 문제점은 데이터 레이크^{data lake}가 나오면서 점차 개선되기 시작했습니다. 웨어하우스에 반영할 수 없었던 비정형 데이터를 다룰 수 있었기 때문이죠. 덕분에 활용할 수 있는 분야는 점차 늘었습니다. 그 예로 사용자가 입력한 분위기에 맞게 작곡하는 인공지능이나 미드저니와 같이 프롬프트 기반으로 그림을 그리는 인공지능이 있습니다.

하지만 기업 조직의 규모가 커지면서 문제가 발생했습니다. 보통 기업 내 데이터 팀은 하나고, 모두가 데이터 분석 결과를 기다린다는 점이죠. 다른 팀에서 데이터 분석 의뢰가 한꺼번에 밀려 들어오면 데이터 팀은 몰린 업무로 인해 스트레스를 받고, 분석 의뢰를 했던 팀은 요청 건이 제때 오지 않아 마찬가지로 애를 먹었습니다. 결국 기업 성장률에도 악영향을 미치는 요인이 되기도 했습니다.

이런 병목 현상을 해결하기 위해 새롭게 제안된 방법이 데이터 메시^{data mesh}입니다. 데이터 메시는 데이터를 관리하는 주체를 단일 데이터 팀이 아닌 조직 내 여러 도메인 팀으로 분산시켜 관리하는 방식으로 전환하는 것이 목적인 데이터 아키텍처입니다. 데이터 덩어리 하나를 통째로 운영하는 기존 아키텍처의 관습을 여러 조각으로(도메인별로) 분산, 운영함으로써 데이터를 더 효율적으로 관리하는 게 목적입니다.

왜 데이터 메시로 변환해야 하는가?​

지난 몇 년 동안 다프는 대규모 데이터를 포착하기 위해 데이터 레이크와 웨어하우스 같은 데이터 솔루션에 상당한 투자를 해왔습니다. 또한 최고 데이터 및 인공지능 책임자 산하에 대규모 데이터 및 인공지능 팀을 구성하여 조직 전반의 데이터 캡처, 모델링, 제공은 물론 비즈니스에 필요한 분석과 머신러닝 솔루션을 구축하는 업무를 담당하고 있었습니다. 다프의 조직 구조와 운영 모델은 당시 업계 표준이었죠.

​

하지만 기업 안팎으로 데이터 소스가 늘어나고 사용 사례가 다양해짐에 따라 중앙의 데이터 팀과 모놀리식 아키텍처에서 병목 현상이 일어났습니다. 데이터 팀은 많은 부담을 안으며 근무해야 했으며, 회사가 성장할수록 작업 속도는 계속해서 느려졌죠. 투자 수익이 정체되는 결과도 가져오게 되었구요.

(출처: 데이터 메시, 한빛미디어, 2023)

​

다프는 변화가 필요했고, 바로 그때 데이터 메시를 발견했습니다. 다프는 자신의 목표, 조직, 기술적 특성과 데이터 메시가 연관성이 있는지 주도면밀하게 살펴보았고, 데이터 메시를 도입함으로써 예상되는 결과를 다프의 페인 포인트^{pain point}에 대응해 나열해 보았습니다.

조직이 성장함에 따라 빠르게 증가하는 복잡성

비즈니스가 빠르게 성장함에 따라 증가하는 복잡성으로 인해, 다양한 데이터를 분석하고자 하는 열망은 줄어들고 있습니다. 데이터 메시는 조직 전반에서 발생하는 병목 현상과 조정 횟수, 도메인 간의 동기화를 줄여 복잡하고 규모가 큰 환경에서 데이터로부터 가치를 창출하고 민첩성을 유지할 수 있도록 설계되었습니다.

 

대규모 데이터로부터 가치 창출

기존 아키텍처에서도 데이터와 분석에 상당한 비용을 투자했지만, 그 성과는 미미했습니다. 데이터 메시는 더 많은 비중을 차지하고 있는 제너럴리스트 기술자를 대상으로 하여 그들이 데이터 개발자와 사용자로서 더 효율적으로 데이터로부터 가치를 창출할 수 있도록 합니다.

데이터 메시의 목표와 전반적인 영향력의 범위는 유망해 보였습니다. 하지만 다프의 상황을 고려할 때 지금 당장 이것이 올바른 선택인지에 대한 의문이 들었습니다. 결론부터 말하면, 이 의문에 대한 답은 희망적이었습니다.

데이터 메시는 다프가 기존에 도메인별로 조직을 설계하는 방식과 딱 맞아떨어졌습니다. 단순히 기존 설계와 아키텍처를 확장하기만 하면 되는 것이었죠. 데이터 메시는 기존의 비즈니스에 맞춰진 개발 팀을 단순히 확장함으로써 탈중앙화된 데이터 오너십 모델을 기반으로 구축되었습니다.

실제로 중앙 데이터 팀은 기능적으로 가장 마지막에 분할된 팀 중 하나였으며, 기존의 도메인 지향 비즈니스와 기술 조직 설계에 대해 다소 상충되는 부분이 있었습니다. 데이터를 기반으로 모든 도메인을 만들고 그 안에 지능형 의사 결정^{intelligent decision making}을 포함시키려는 열망을 고려할 때, 분석 데이터 오너십을 도메인별로 이전하는 것은 당연한 일이었습니다. 회사는 이미 데브옵스 도메인 팀을 중심으로 운영되고 있었습니다. 따라서 이러한 팀에 데이터 특성과 책임을 부여하는 것은 데이터에 대한 액세스와 활용을 대중화하기 위한 자연스러운 발전처럼 보였습니다. 당연히 거버넌스도 이러한 경향을 따라야 했습니다.

데이터 메시를 선도적으로 도입한 기업으로서 기반 기술을 구축하고 플랫폼을 활성화하는 데 시간과 소스를 할애해야 한다는 것을 알고 있었습니다. 다프는 스스로 기술을 핵심으로 하는 소프트웨어 회사로서 비즈니스를 가능하게 할 뿐만 아니라, 비즈니스를 형성하고 확장하는 회사라고 생각했습니다. 다프는 기술적인 투자를 꺼리지 않았습니다.

다프는 데이터 컬처, 조직 구조, 역할, 아키텍처와 기술에 대한 변화를 포괄하는 새로운 접근 방식을 구현하는 것이 다년간에 걸친 혁신이 될 것임을 깨달았습니다.

그래서 향후 3년간 데이터 아키텍처를 점진적으로 데이터 메시로 전환하는 데 전념했습니다. 그 과정에서 엄선된 데이터 기반 사용 사례를 제공하면서 조직을 변화하고 플랫폼과 기술을 구축했습니다.

(출처: 데이터 메시, 한빛미디어, 2023)

앞으로 가야 할 길

비즈니스적으로, 문화적으로, 기술적으로 성공함에도 불구하고 다프는 아직 갈 길이 멀었습니다. 데이터 메시의 발전은 확실히 작업 방식과 기본 플랫폼을 확립하여 탐색 단계를 지나고 있습니다. 이러한 단계를 거치면서 데이터 메시는 많은 도메인으로 확장했습니다. 그러나 데이터 메시에서 지속적으로 가치를 추출하기 위해서는 접근 방식을 최적화하고 개선해야 합니다. 

다프는 데이터 메시의 활성 멤버가 되는 데 있어서 뒤처진 도메인을 중점적으로 작업해야 하죠. 동시에 레거시 시스템^{legacy system}으로 작동하는 도메인과 아직 교차 기능 팀에 속하지 않는 도메인에 집중하여 플랫폼 특성을 확장해야 합니다.

이 글은 『데이터 메시』에서 일부를 발췌하여 정리하였습니다. 

다프는 데이터 메시 도입 이후 '만약에..'라는 질문을 집요하게 던질 수 있는 유비쿼터스 문화가 생겼습니다. 정확히는 '만약에 상황을 조금이라도 개선하기 위해 무언가를 바꿀 수 있다면?'이라는 문화가 어디에든 널려있다는 것입니다. 실험을 실행하고, 결과를 관찰하고, 데이터를 분석하거나 이해하고, 데이터로부터 배우는 적용하는 문화가 자리 잡았습니다.

데이터 수집, 실험, 인텔리전스 모두 별도의 데이터 팀에 아웃소싱되었던 데이터 메시 도입 이전과는 전혀 다른 모습이죠.

데이터 메시를 도입한 후, 다프는 어떻게 데이터를 활용하고 있을까요? 데이터 메시 창시자가 직접 소개하는 가상 기업 다프의 사례를 통한 데이터 메시의 현황과 도입 과정에 대한 인사이트는 물론, 다양한 경로를 통해 스트리밍 데이터를 효율적으로 라이팅하는 방법 등 효과적인 데이터 활용을 위한 데이터 메시의 자세한 사용법은 『데이터 메시』에서 확인하실 수 있습니다.

『데이터 메시』