데이터 메시란 무엇인가요?

데이터 메시란 새로운 도구나 기술의 집합이 아니라 기업이 데이터에 대해 생각하는 방식의 변화입니다. 데이터 메시 접근방식을 안내하는 4가지 핵심 원칙이 있습니다. 이러한 원칙 덕분에 이 접근방식은 기존의 중앙 집중식 데이터 아키텍처의 문제를 해결하는 데 매우 효과적입니다.

기존의 데이터 아키텍처에서는 IT팀이나 데이터 엔지니어링팀과 같은 단일 중앙팀이 모든 데이터를 담당합니다. 데이터 메시에서는 데이터 소유권이 데이터를 생성하는 비즈니스 도메인으로 분산됩니다. 예를 들어 영업팀은 영업팀에서 생성한 고객 데이터를 소유하고 마케팅팀은 마케팅팀에서 생성한 캠페인 데이터를 소유합니다. 이를 통해 팀은 생성하는 데이터에 대해 더 큰 책임과 책무를 갖게 됩니다.

전문 분야 지향 소유권에서는 데이터를 생성하는 팀이 데이터를 제품처럼 취급해야 합니다. 회사가 고객에게 고품질 제품을 제공하는 것처럼 데이터 도메인팀은 데이터가 필요한 다른 팀에 고품질 데이터를 제공해야 합니다. 즉, 데이터를 쉽게 발견하고 이해하며 사용할 수 있다는 것입니다. 또한 적절한 사용자만 사용 사례에 맞는 데이터에 액세스할 수 있도록 신뢰할 수 있고 안전하며 잘 문서화되고 액세스 제어가 내장되어 있어야 합니다.

데이터를 제품으로 취급할 수 있도록 데이터 메시에서는 셀프서비스 플랫폼을 사용합니다. 이 플랫폼은 데이터 도메인팀이 중앙 데이터팀의 도움 없이도 데이터 제품을 쉽게 만들고 관리할 수 있도록 지원하는 도구와 서비스의 모음입니다. 데이터 스토리지, 보안, 거버넌스 등 데이터 관리에 수반되는 많은 기술 작업을 자동화하는 간단하고 사용하기 쉬운 플랫폼이 될 수 있습니다.

데이터가 분산되어 있고 여러 팀에 걸쳐 퍼져 있기 때문에 모든 사람이 동일한 규칙을 따르도록 보장하는 방법이 필요합니다. 이때 통합 컴퓨팅 거버넌스가 필요합니다. 이 모델에서는 소규모의 중앙팀이 모든 데이터에 대한 전역 규칙과 표준을 설정합니다. 그러나 이러한 규칙의 시행은 데이터 도메인팀 자체에서 처리합니다. 이는 중앙 집중식 정책과 분산형 실행이라는 두 가지 장점을 결합한 것입니다.

데이터 메시 접근방식은 기존 데이터 아키텍처의 일반적인 문제를 해결하기 위해 만들어졌습니다. 개별 부서 또는 팀이 소유한 데이터 웨어하우스나 데이터 레이크와 같은 이러한 모델은 특히 회사가 성장함에 따라 데이터 사일로와 거버넌스 위험을 초래할 수 있습니다. 데이터 메시에서는 소유권을 분산하고 개별 팀에 권한을 부여하는 동시에 도메인 전반에서 데이터를 관리하고 모니터링하기 위한 중앙 제어를 유지함으로써 이러한 문제를 해결합니다.

Dataplex Universal Catalog는 통합된 데이터 패브릭 역할을 하며 데이터 메시에 대한 중앙 거버넌스 레이어를 제공합니다. 다양한 환경에서 분산된 데이터를 검색, 관리, 제어하는 데 도움이 되므로 메타데이터와 정책에 대한 단일 정보 소스를 확보할 수 있습니다. 시작하려면 Dataplex 레이크를 만들어야 합니다. Dataplex 레이크는 데이터를 보관하는 최상위 컨테이너이며 일반적으로 비즈니스 도메인에 매핑됩니다.

레이크를 만드는 단계는 다음과 같습니다.

1. Google Cloud 콘솔에서 Dataplex Universal Catalog 레이크 페이지로 이동합니다.
2. '만들기'를 클릭한 후 새 레이크에 '영업 데이터 도메인'이나 '마케팅 데이터 메시'와 같이 설명적인 이름을 지정합니다.
3. 레이크의 리전을 선택합니다.
4. 레이크가 생성되면 영역을 추가할 수 있습니다. 영역은 특정 팀이나 데이터 계약을 나타내는 레이크 내의 하위 도메인입니다. 예를 들어, '영업 데이터 도메인' 레이크 내에서 처리되지 않은 데이터에 대한 '원시 데이터' 영역과 정리되어 프로덕션에 사용할 수 있는 데이터에 대한 '선별 데이터' 영역을 만들 수 있습니다.
5. 영역을 만든 후에는 해당 영역에 애셋을 연결할 수 있습니다. 애셋은 Cloud Storage나 BigQuery와 같은 서비스에 저장된 실제 데이터입니다. Dataplex 영역을 귀하의 데이터 위치로 가리키기만 하면 됩니다.

그러면 Dataplex가 이러한 애셋을 자동으로 스캔하여 메타데이터를 탐색하고 분류합니다.

'제품으로서의 데이터' 원칙의 핵심은 데이터를 쉽게 검색할 수 있도록 만드는 것입니다. BigQuery 데이터 공유를 사용하면 데이터 제품 Marketplace를 구축할 수 있습니다. 이를 통해 전문 분야 팀은 데이터를 복사하거나 이동하지 않고도 다른 팀과 데이터 제품을 안전하게 공유할 수 있습니다. 데이터 소비자가 필요한 데이터를 찾는 데 도움을 주고, 해당 데이터에 액세스할 수 있는 명확하고 잘 정의된 인터페이스를 제공합니다.

Google Cloud의 서버리스 서비스를 사용하면 전문 분야 팀이 최소한의 오버헤드로 자체 데이터 제품을 만들고 관리할 수 있습니다. BigQuery는 팀이 대규모 데이터 세트를 빠르고 효율적으로 분석할 수 있도록 지원하는 강력한 서버리스 데이터 웨어하우스입니다. Dataflow는 데이터 제품을 위한 데이터 파이프라인을 구축하고 자동화하는 데 사용할 수 있는 서버리스 데이터 처리 서비스입니다. 이러한 서비스를 통해 인프라를 관리하기 위한 중앙 데이터 엔지니어링팀의 필요성이 줄어들어 전문 분야 팀의 자율성과 민첩성이 향상됩니다.

통합 컴퓨팅 거버넌스는 중앙팀이 전역 규칙을 정의하지만, 전문 분야 팀이 이를 시행하도록 허용하는 원칙입니다. Google Cloud의 Identity and Access Management(IAM) 조건은 이를 구현하는 데 필요한 도구를 제공합니다. IAM 조건을 사용하면 데이터 속성을 기반으로 세분화된 권한을 설정할 수 있는 속성 기반 액세스 제어(ABAC)가 가능합니다. 예를 들어, 특정 리전의 고객 데이터에만 사용자가 액세스할 수 있도록 하는 정책을 만들어 GDPR과 같은 데이터 주권 규정을 준수하는 데 도움이 됩니다.