데이터 메시 개념

Google Cloud Cortex Framework를 사용하여 데이터 메시를 배포하는 방법에 관한 자세한 가이드를 살펴보기 전에 이 페이지에서는 관련 데이터 메시 개념이 일반적으로 Google Cloud 제품 내에서, 특히 Cortex Framework 컨텍스트에서 구현되는 방식에 관한 기본 사항을 설명합니다. 데이터 메시 개념을 이해한 후 Cortex Framework 데이터 기반에 관한 데이터 메시 사용자 가이드를 참고하세요.

Dataplex 범용 카탈로그

다음 표에서는 Dataplex 범용 카탈로그 내의 데이터 메시 개념을 정의합니다.

개념 설명 Cortex Framework 컨텍스트
Lake 데이터 메시 내에서 데이터를 정리하기 위한 최상위 단위입니다. Dataplex 범용 카탈로그 - 레이크를 관리합니다. 데이터 소스(예: SAP ECC, Salesforce, Google Ads)
영역 레이크 내에서 데이터를 정리하기 위한 두 번째 수준 단위입니다. 데이터 소스 내의 특정 처리 레이어(예: 원시 대 CDC)
Dataplex 범용 카탈로그 애셋 영역과 연결된 Cloud Storage 또는 BigQuery에 저장된 데이터를 참조합니다. 데이터 자체가 아닌 데이터 애셋에 대한 참조입니다. 영역에 등록된 BigQuery 데이터 세트에 대한 참조입니다.
라벨 레이크 또는 영역에 적용할 수 있는 임의의 키-값 쌍입니다. Dataplex 범용 카탈로그에서 볼 수 있거나 맞춤 애플리케이션에 사용할 수 있는 메타데이터로 테이블이나 열이 아닌 전체 레이크 또는 영역에 라벨을 지정합니다.
Data Catalog 웨어하우스 내에서 데이터 애셋을 검색, 이해 또는 관리하는 데 사용할 수 있는 기술 비즈니스 메타데이터입니다. Dataplex 범용 카탈로그 검색 또는 맞춤 애플리케이션에서 사용할 수 있는 풍부한 메타데이터 태그로 테이블 또는 열 (레이크 또는 영역이 아님)에 주석을 답니다.
카탈로그 태그 템플릿 태그에서 사용 가능한 필드와 그 유형을 정의하는 템플릿입니다. Dataplex 범용 카탈로그 - 태그 템플릿 관리 비즈니스 라인으로 데이터 애셋에 태그를 지정하는 등의 용도로 템플릿 집합을 정의합니다.
카탈로그 태그 표 또는 열에 적용되는 메타데이터를 포함하는 필드와 값의 집합입니다. 태그 템플릿의 인스턴스입니다. 특정 비즈니스 라인과 같은 애셋과 관련된 메타데이터 값으로 표 또는 열에 주석을 답니다.
카탈로그 용어집 BigQuery 열에 정의하고 연결할 수 있는 용어 사전입니다. Dataplex 범용 카탈로그 - 용어집을 관리합니다. BigQuery 애셋에 사용되는 용어 또는 약어를 정의합니다. 이는 향후 계획된 사항이며 지원되지 않습니다.
데이터 계보 BigQuery 애셋 종속 항목을 나타내는 그래프입니다. 이는 Cortex Data Mesh에 의해 정의되지 않지만 사용자가 BigQuery 애셋 데이터 소스를 검색하는 데 도움이 되는 관련 Dataplex 범용 카탈로그 도구입니다.
계보 이벤트 BigQuery 애셋 간에 데이터를 이동하는 작업이 발생한 시점입니다. 링크 목록을 포함합니다. 지원되는 BigQuery 및 Composer 작업에 대해 자동으로 생성됩니다.
계보 링크 계보 이벤트의 일부로 소스에서 타겟 애셋으로 흐르는 데이터를 나타내는 에지입니다. 콘솔에 표시되는 계보 시각화 그래프를 넘어 사용 사례를 지원하기 위해 분석할 수 있습니다.

BigQuery

다음 표에서는 BigQuery 내의 데이터 메시 개념을 정의합니다.

개념 설명 Cortex Framework 컨텍스트
정책 분류 정책 태그의 계층 구조입니다. BigQuery - 정책 태그를 관리합니다. 액세스 제어에 사용할 수 있는 관련 정책 태그를 상속된 권한이 있는 계층 구조로 정리합니다.
정책 태그 BigQuery 테이블 또는 뷰 내의 특정 열에 적용되는 태그입니다. 계층 구조의 모든 수준에서 정책 태그를 적용할 수 있습니다. 특정 열에는 정책 태그를 하나만 적용할 수 있습니다. 열 수준 액세스 제어에 사용되는 태그로 열에 주석을 답니다. 정책 태그의 주 구성원은 원시 열 데이터를 볼 수 있는 '세분화된' 또는 '마스킹 해제된' 리더를 정의합니다.
데이터 정책 마스킹된 열 데이터를 볼 수 있는 방법과 사용자를 정의하는 정책 태그에 적용된 정책입니다. 데이터 정책의 주 구성원은 마스킹된 열 데이터를 볼 수 있는 '마스킹된 리더'를 정의합니다. 마스크 처리된 또는 마스크 처리되지 않은 판독자 권한이 없는 사용자는 열을 쿼리할 수 없습니다.
마스킹 규칙 데이터가 마스킹되는 방식을 정의하는 데이터 정책에 적용되는 규칙입니다(예: 해싱, 기본값 표시, 마지막 네 글자 등). 민감한 열에 상황에 따라 적용됩니다.
행 액세스 정책 특정 열 값을 기반으로 테이블 내 행을 쿼리할 수 있는 그룹을 정의하는 SQL 문입니다. 애셋 및 열 수준 제어가 충분하지 않은 경우 행 수준 액세스 제어에 사용됩니다.

Cortex Data Mesh 개념

다음 표에서는 Cortex 프레임워크 내의 구체적인 데이터 메시 개념을 정의합니다.

개념 설명 Cortex Framework 컨텍스트
메타데이터 리소스 여러 BigQuery 애셋에서 재사용할 수 있는 메타데이터 항목입니다. 예로는 레이크, 카탈로그 태그 템플릿, 정책 분류가 있습니다. 이는 BigQuery 자체의 데이터가 아닌 메타데이터입니다. Cortex Data Mesh의 일관된 관리를 지원하기 위해 재사용 가능한 리소스를 정의합니다.
BigQuery 애셋 BigQuery 테이블 또는 뷰입니다. 데이터 메시로 관리되는 기존 Cortex BigQuery 객체입니다.
BigQuery 애셋 주석 특정 BigQuery 테이블 또는 뷰에 적용된 메타데이터입니다. 여기에는 설명, 액세스 정책, 메타데이터 리소스에 대한 매핑이 포함됩니다. 검색 및 액세스 제어를 사용 설정하기 위해 BigQuery 애셋과 메타데이터를 연결합니다.
리소스 사양 (spec) 메타데이터 리소스 또는 BigQuery 애셋 주석을 정의하는 YAML 파일입니다. 전체 리소스 사양은 배포할 데이터 메시 구성을 코드화합니다.