vixjv***
2023-12-24

데이터 레이크를 넘어 데이터 메시로! 중앙 집중식 아키텍처 한계를 넘어선 ‘데이터 메시’ 데이터 메시 창시자가 소개하는 데이터 메시의 모든 것
사진 설명을 입력하세요.
데이터 메시는 탈중화된 사회 기술적 접근 방식으로서 조직 전반의 대규모적이고 복잡한 환경에서 데이터를 공유하고 엑세스 하며 관리합니다.
(내용 中)
사진 설명을 입력하세요.
사진 설명을 입력하세요.
사진 설명을 입력하세요.
사진 설명을 입력하세요.
한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다.
출처 입력
다프 주식회사에선 머신러닝을 활용하여 사용자 경험(UX)을 개선하는데 집중한 결과 프리미엄 가입자가 크게 증가했다. 지난 3년 동안 다프는 분석 데이터를 관리하고, 사용하는 방식을 [데이터메시]로 전환했다. 데이터메시는 대규모 분석 데이터에서 가치를 활용하는 새로운 접근 방식으로, 데이터와 비즈니스를 긴밀하게 연결해준다.
데이터 메시란?
데이터 메시는 탈중앙화 된 사회 기술적 접근 방식으로서 조직 전반의 대규모적이고 복잡한 환경에서 분석데이터를 공유하고 엑세스하며 관리한다.
데이터 메시로 일어나는 변화
조직적 변화: 중앙 집중식 스페셜리스트 집단으로 이루어진 모델에서 여러 비즈니스 도메인으로 탈중앙화된 모델로 데이터 오너십 모델을 전환한다. 이와 동시에 중앙 집중식 팀이 소유하고 있는 데이터 관련 책임을 도메인 별로 데이터를 직접 생성하거나 소비하는 방식으로 전환한다.
아키텍처적 변화 : 모놀리식 아키텍처(데이터 웨어하우스 및 데이터 레스크)로 이루어진 구조에서 (표준 프로토콜로 연결된 데이터 프로덕트로 이루어진) 데이터 메시 구조로 전환한다.
기술적 변화 : 데이터를 파이프라인 코드 실행 과정에서 발생한 부산물로 취급하는 기술 솔루션에서 데이터를 유지 관리하는 코드와 하나의 살아 있는 자율적인 단위로 취급하는 기술 솔루션으로 데이터 솔루션을 전환합니다.
운영적 변화 : 데이터 거버넌스를 사람이 수동으로 개입하는 하향식 및 중앙 집중식 운영 모델에서 데이터 메시 내의 노드를 기반으로 컴퓨팅 정책이 임베딩된 연합 모델로 전환한다.
원칙적 변화 : 자산으로서의 데이터를 수집하는 가치체계 에서 조직 안팎의 데이터 사용자에게 제품으로서의 데이터를 제공하면서 만족을 주는 가치 체계로 전환한다.
인프라적 변화 : 분석 시스템과 운영 시스템으로 파편화 된 두 서비스가 엔드 투 엔드 방식으로 연결된 형태의 인프라 서비스에서 운영 데이터 분석 데이터 시스템 모두를 위해 잘 통합된 일련의 인프라로 전환한다.
DDD(Domain-Driven-Design) 전략의 배경
도메인 주도 설계(DDD)는 비즈니스의 이음매를 기반으로 소프트웨어 설계(모델)와 팀 할당을 분해하는 접근 방식이다. 비즈니스가 도메인 단위로 분해되는 방식에 따라 소프트웨어를 분해하고, 각 비즈니스 도메인에서 사용하는 언어를 기반으로 소프트웨어 모델링을 한다.
책을 읽고나서 꼭 남겨둬야 겠다고 생각한 파트는 글로 적었다.
나는 이게 어떤 기술 이라고 생각했는데 (기술이 맞긴하다..)
읽다보니 개념잡아주는 책 같았다. 뭐 이참에 DDD도 복습하고, 데이터메시 라는 기법도 익혔으니 감사할 따름이다.
" 한빛미디어 <나는 리뷰어다> 활동을 위해서 책을 제공받아 작성된 서평입니다. "