제품으로서의 데이터(DaaP)란 무엇인가요?
제품으로서의 데이터(DaaP)는 데이터 관리에 제품 사고방식을 적용하는 방법론입니다. 단순히 데이터를 수집하는 데서 벗어나 데이터를 제공하는 데 초점을 맞춥니다. 이 모델에서는 데이터가 특정 '소비자'(개발자, 데이터 과학자, 분석가)와 유용성을 책임지는 '제품 소유자'가 있는 독립적인 애셋으로 간주됩니다.
이 개념은 데이터 메시 아키텍처의 기본 요소입니다. 이 접근방식은 모든 것을 중앙팀에 맡기는 대신 데이터에 가장 익숙한 팀(영업, 재고, 물류 등의 분야)이 데이터를 선별하고 조직의 나머지 부분에 제공하는 책임을 져야 한다고 제안합니다.
DaaP와 데이터 제품의 차이점
이러한 용어는 종종 같은 의미로 사용되지만 동일한 프레임워크의 서로 다른 측면을 나타냅니다.
- 제품으로서의 데이터(DaaP)는 전략입니다. 데이터를 소프트웨어와 동일한 수준으로 엄격하게 처리하는 사고방식입니다. 여기에는 버전 관리, 문서화, 사용자 지원과 같은 제품 관리 원칙을 데이터 애셋에 적용하는 것이 포함됩니다.
- 데이터 제품은 출력입니다. 데이터 제품은 특정 문제를 해결하기 위해 설계된 신뢰할 수 있고 액세스 가능한 데이터 단위입니다.
예를 들어 전략(DaaP)은 팀이 '분기별 매출 수치'를 포함하는 정리되고 문서화된 데이터 세트를 빌드하도록 이끕니다. 액세스 제어 및 사용 가이드가 포함된 특정 데이터 세트가 데이터 제품입니다.
제품으로서의 데이터의 주요 구성요소
데이터 세트가 제품으로 기능하려면 일반적으로 특정 사용성 표준(대개 데이터 메시 원칙에서 파생됨)을 충족해야 합니다. 파일이 스토리지 버킷에 존재하기만 하는 것은 이를 충족하지 않습니다. 주요 특징은 다음과 같습니다.
- 검색 가능: 소비자는 일반적으로 중앙 집중식 카탈로그나 검색엔진을 통해 데이터를 쉽게 찾을 수 있어야 합니다.
- 주소 지정 가능: 개발자가 프로그래매틱 방식으로 데이터에 액세스할 수 있도록 데이터에 고유한 영구 주소(URI)가 있어야 합니다.
- 신뢰할 수 있음: 데이터는 신뢰할 수 있어야 합니다. 이는 데이터 최신 상태 및 정확성과 관련된 서비스수준계약(SLA)을 통해 시행되는 경우가 많습니다.
- 자체 설명: 데이터는 스키마, 출처, 의도된 용도를 설명하는 메타데이터를 포함해야 하므로 소비자가 소유자에게 질문할 필요가 줄어듭니다.
- 보안: 액세스 정책은 데이터 제품에 직접 연결되어야 하며, 누가 액세스하든 보안이 자동으로 적용되도록 해야 합니다.
- 상호 운용 가능: 데이터는 전 세계 표준을 준수해야 하며, 다른 분야의 데이터 제품과 함께 결합하거나 분석할 수 있어야 합니다.
기업의 DaaP 사용 사례
데이터에 대한 제품 사고방식을 채택하는 것은 데이터 생산자와 소비자 간의 마찰을 줄이기 위해 자주 수행됩니다.
1. 통합된 고객 프로필
마케팅팀과 지원팀은 종종 서로 다른 소스(웹 로그, CRM, 거래 내역)의 데이터를 필요로 합니다. 각 팀이 자체 추출 파이프라인을 빌드하는 대신 중앙 '고객 도메인' 팀이 검증된 단일 '고객 프로필' 데이터 제품을 출시할 수 있습니다. 앱을 빌드하는 개발자는 이 표준 제품을 구독하여 회사 전체에서 일관성을 유지할 수 있습니다.
2. 공급망 가시성
물류에서는 인벤토리 수준에 관한 데이터가 빠르게 변동하는 경우가 많습니다. '실시간 인벤토리' 데이터 제품을 사용하면 웹사이트 프런트엔드나 조달과 같은 다운스트림 팀에서 기본 창고 관리 시스템의 복잡성을 이해할 필요 없이 정확한 재고 수준을 쿼리할 수 있습니다.
3. 빠른 머신러닝
데이터 과학자는 모델을 학습시키기 전에 데이터를 정리하는 데 상당한 시간을 할애합니다. 'Feature Store' 데이터 제품은 사전 계산되고 검증된 특성(예: 사용자 이탈 위험 또는 평균 장바구니 크기)을 제공합니다. 따라서 데이터 과학자는 정리 단계를 건너뛰고 모델 아키텍처에 집중할 수 있습니다.
DaaP 도입의 이점
제품 기반 사고방식으로 전환하려면 노력이 필요하지만 기술팀과 더 넓은 조직에 여러 가지 구조적 이점을 제공할 수 있습니다.
더 높은 품질의 데이터
더 높은 품질의 데이터
데이터 제품에는 소유자와 SLA가 할당되어 있으므로 오류에 대한 책임이 있습니다. 이는 일반적으로 소유자가 없는 '데이터 덤프'에 비해 더 깔끔하고 신뢰할 수 있는 데이터 세트로 이어집니다.
신속한 개발
신속한 개발
개발자는 데이터를 검색하거나 암호화된 열 이름을 해독하는 데 시간을 덜 소비합니다. 셀프서비스 액세스와 명확한 문서를 통해 데이터를 애플리케이션에 더 빠르게 통합할 수 있습니다.
병목 현상 감소
병목 현상 감소
조직은 데이터 소유권을 전문 분야 팀에 분산함으로써 단일 중앙 데이터팀의 병목 현상을 제거합니다. 이를 통해 여러 팀이 데이터 제품을 동시에 빌드하고 게시할 수 있습니다.
더욱 명확한 거버넌스
더욱 명확한 거버넌스
보안 및 액세스 정책은 제품 수준에서 정의됩니다. 이를 통해 누가 어떤 데이터에 액세스할 수 있는지 더 쉽게 감사할 수 있으므로 합법적인 사용자의 액세스 속도를 늦추지 않으면서도 규정 준수를 보장할 수 있습니다.
Google Cloud를 사용한 DaaP 구현
DaaP를 더 잘 이해하기 위해 Knowledge Catalog(이전 명칭: Dataplex)와 BigQuery를 기술적 기반으로 사용하여 DaaP의 이론적 개념을 실제로 구현하는 방법을 설명하겠습니다.
시나리오: 개발자가 추천 시스템을 빌드해야 하며 사용자 시청 기록에 관한 신뢰할 수 있는 데이터 세트가 필요합니다.
1단계: 탐색(카탈로그)
DaaP 환경에서 개발자는 수동으로 문의할 필요가 없습니다. 이들은 데이터에서 AI 거버넌스에 이르는 중앙 플랫폼 역할을 하는 Knowledge Catalog를 사용합니다. 카탈로그에서 '사용자 페이지 조회수'를 검색하여 ecommerce-user-activity라는 등록된 애셋을 찾습니다. 이렇게 하면 검색 가능성 요구사항을 충족할 수 있습니다.
2단계: 평가(메타데이터)
개발자는 코드를 작성하기 전에 항목을 검토합니다. 다음 항목을 볼 수 있습니다.
- 스키마: 정의된 열(예: user_id, item_id, timestamp)
- 계보: 데이터의 출처를 보여주는 정보
- 품질 측정항목: 자동화된 스캔(예: Knowledge Catalog AutoDQ)으로 생성된 점수로, 행의 99.9%가 정의된 품질 규칙을 충족함을 확인합니다. 이를 통해 신뢰할 수 있고 자체 설명이 가능한 요구사항을 충족할 수 있습니다.
3단계: 액세스(보안)
개발자가 카탈로그 인터페이스를 통해 액세스를 요청합니다. 데이터 소유자(특정 전문 분야 팀)가 요청을 승인하여 해당 특정 리소스에 대한 '데이터 뷰어' 역할을 부여합니다. 이는 보안 요구사항을 충족합니다.
4단계: 소비(통합)
액세스 권한이 부여되면 개발자는 BigQuery에서 데이터 제품을 직접 쿼리합니다.
- SQL
데이터가 제품으로 취급되기 때문에 개발자는 스키마가 안정적으로 유지되거나 버전 변경에 대한 알림을 받아 애플리케이션을 안정적으로 실행할 수 있습니다.
빠른 시작: 첫 번째 데이터 제품 빌드
임시 데이터 생성에서 관리형 데이터 제품 빌드로 전환하려는 개발자를 위해 Knowledge Catalog는 애셋을 패키징, 제어, 공유할 수 있는 전용 서비스를 제공합니다. 다음 워크플로는 관리형 수명 주기의 기준을 제공합니다.
- 애셋 식별 및 선별: 특정 소비자 니즈를 해결하는 BigQuery 테이블, 승인된 뷰, AI 모델과 같은 기술 리소스를 선택합니다. 이러한 애셋은 Knowledge Catalog에 등록되어야 합니다.
- 데이터 제품 만들기: Knowledge Catalog 콘솔을 사용하여 새 데이터 제품 리소스를 만듭니다. 이는 선별된 애셋을 검색 및 공유를 위한 단일 단위로 패키징하는 논리적 컨테이너 역할을 합니다.
- 비즈니스 컨텍스트 연결(관점): 관점을 연결하여 메타데이터로 제품을 보강합니다. 데이터 제품 템플릿을 사용하여 제품 이름, 비즈니스 목적, 소유권, 의도된 용도를 정의하여 제품이 소비자에게 자체적으로 설명되도록 합니다.
- 거버넌스 및 액세스 정의: 제품에 대한 승인 워크플로와 필요한 역할을 구성합니다. 이를 통해 액세스 요청을 중앙에서 관리하여 승인된 사용자만 제품을 구독하고 쿼리할 수 있습니다.
- 게시 및 공유: 게시된 데이터 제품은 AI용 카탈로그에서 검색할 수 있습니다. 소비자는 제품을 검색하고, 문서와 품질 측정항목을 검토하고, BigQuery에서 직접 데이터를 쿼리하기 위한 액세스 권한을 요청할 수 있습니다.
관련 제품 및 솔루션
다음 도구는 Google Cloud에서 제품으로서의 데이터의 기술적 측면을 구현하는 데 자주 사용됩니다.
추가 리소스
- 데이터 메시란 무엇인가요?: 이 도움말에서는 제픔으로서의 데이터 방법론의 기반이 되는 데이터 메시 아키텍처에 대해 간략하게 설명합니다.
- Knowledge Catalog 문서: Google Cloud 콘솔 내에서 범용 카탈로그를 구성하는 방법에 관한 자세한 안내를 제공하는 기술 가이드입니다.
- Knowledge Catalog로 데이터 제품 빌드하기: 데이터 제품을 빌드하는 방법을 단계별로 안내하는 기술 가이드입니다.
- BigQuery Sharing 문서: 조직 경계를 넘어 데이터 애셋을 안전하게 공유할 수 있는 데이터 교환 플랫폼입니다.
