데이터 메시 개념

Google Cloud Cortex Framework를 사용하여 데이터 메시를 배포하는 방법에 관한 자세한 가이드를 살펴보기 전에 이 페이지에서는 관련 데이터 메시 개념이 일반적으로 Google Cloud 제품 내에서, 특히 Cortex Framework 컨텍스트와 함께 구현되는 방법에 관한 기반을 제공합니다. 데이터 메시 개념을 이해한 후 Cortex Framework 데이터 기반에 관한 데이터 메시 사용자 가이드를 참고하세요.

Dataplex

다음 표에서는 Dataplex 내의 데이터 메시 개념을 정의합니다.

개념 설명 Cortex Framework 컨텍스트
호수 데이터 메시 내에서 데이터를 구성하기 위한 최상위 단위입니다. Dataplex - 레이크를 관리합니다. 데이터 소스(예: SAP ECC, Salesforce, Google Ads)
영역 레이크 내에서 데이터를 구성하기 위한 두 번째 수준의 단위입니다. 데이터 소스 내의 특정 처리 레이어(예: 원시 및 CDC)
Dataplex 애셋 Cloud Storage 또는 BigQuery에 저장되고 영역과 연결된 데이터 참조입니다. 이는 데이터 자체가 아닌 데이터 애셋에 대한 참조입니다. ZONE에 등록된 BigQuery 데이터 세트 참조입니다.
라벨 호수 또는 영역에 적용할 수 있는 임의의 키-값 쌍입니다. 테이블이나 열이 아닌 전체 레이크 또는 영역에 Dataplex에서 볼 수 있거나 맞춤 애플리케이션에 사용할 수 있는 메타데이터로 라벨을 지정합니다.
Data Catalog 웨어하우스 내에서 데이터 애셋을 검색, 이해 또는 관리하는 데 사용할 수 있는 기술 비즈니스 메타데이터입니다. 레이크나 영역이 아닌 테이블이나 열에 Dataplex 검색 또는 맞춤 애플리케이션에서 사용할 수 있는 풍부한 메타데이터 태그로 주석을 추가합니다.
카탈로그 태그 템플릿 태그에서 사용 가능한 필드와 유형을 정의하는 템플릿입니다. Dataplex - 태그 템플릿 관리 데이터 애셋에 비즈니스 부문으로 태그를 지정하는 등의 용도로 사용할 템플릿 집합을 정의합니다.
카탈로그 태그 표 또는 열에 적용할 수 있는 메타데이터를 포함하는 필드 및 값의 집합입니다. 태그 템플릿의 인스턴스입니다. 특정 비즈니스 부문과 같이 저작물과 관련된 메타데이터 값으로 표 또는 열에 주석을 추가합니다.
카탈로그 용어집 정의하고 BigQuery 열과 연결할 수 있는 용어 사전입니다. Dataplex - 용어집을 관리합니다. BigQuery 애셋에 사용되는 용어 또는 약어를 정의합니다. 이는 향후 계획되어 있으며 현재는 지원되지 않습니다.
데이터 계보 BigQuery 애셋 종속 항목을 나타내는 그래프 이는 Cortex Data Mesh에서 정의하지는 않지만 사용자가 BigQuery 애셋 데이터 소스를 찾는 데 도움이 되는 관련 Dataplex 도구입니다.
계보 이벤트 BigQuery 애셋 간에 데이터를 이동하는 작업이 발생한 시점입니다. 링크 목록을 포함합니다. 지원되는 BigQuery 및 Composer 작업을 위해 자동으로 생성됩니다.
계보 링크 계보 이벤트의 일부로 소스에서 대상 애셋으로 전송되는 데이터를 나타내는 에지입니다. 이를 분석하여 콘솔에 표시되는 계보 시각화 그래프 외의 사용 사례를 지원할 수 있습니다.

BigQuery

다음 표는 BigQuery 내의 데이터 메시 개념을 정의합니다.

개념 설명 Cortex Framework 컨텍스트
정책 분류 정책 태그의 계층 구조 BigQuery - 정책 태그를 관리합니다. 액세스 제어에 사용할 수 있는 관련 정책 태그를 상속된 권한이 있는 계층 구조로 정리합니다.
정책 태그 BigQuery 테이블 또는 뷰 내 특정 열에 적용되는 태그입니다. 계층 구조의 모든 수준에서 정책 태그를 적용할 수 있습니다. 특정 열에는 정책 태그를 하나만 적용할 수 있습니다. 열 수준 액세스 제어에 사용되는 태그로 열에 주석을 추가합니다. 정책 태그의 주 구성원은 원시 열 데이터를 볼 수 있는 '세분화된' 또는 '마스킹 해제된' 리더를 정의합니다.
데이터 정책 마스킹된 열 데이터를 볼 수 있는 방법과 사용자를 정의하는 정책 태그에 적용된 정책입니다. 데이터 정책의 주 구성원은 마스킹된 열 데이터를 볼 수 있는 '마스킹된 리더'를 정의합니다. 마스킹 또는 마스킹 해제된 리더 권한이 없는 사용자는 열을 쿼리할 수 없습니다.
마스킹 규칙 데이터가 마스킹되는 방식을 정의하는 데이터 정책에 적용되는 규칙입니다(예: 해싱, 기본값 표시, 마지막 4자리 표시 등). 민감한 열에 상황에 따라 적용됩니다.
행 액세스 정책 특정 열 값을 기반으로 테이블 내 행을 쿼리할 수 있는 그룹을 정의하는 SQL 문입니다. 애셋 및 열 수준 컨트롤이 충분하지 않은 경우 행 수준 액세스 제어에 사용됩니다.

Cortex 데이터 메시 개념

다음 표에서는 Cortex 프레임워크 내의 특정 데이터 메시 개념을 정의합니다.

개념 설명 Cortex Framework 컨텍스트
메타데이터 리소스 여러 BigQuery 애셋에서 재사용할 수 있는 메타데이터 항목입니다. 예를 들면 레이크, 카탈로그 태그 템플릿, 정책 분류가 있습니다. 이는 BigQuery 자체의 데이터가 아닌 메타데이터입니다. Cortex Data Mesh를 일관되게 관리할 수 있도록 재사용 가능한 리소스를 정의합니다.
BigQuery 애셋 BigQuery 테이블 또는 뷰 데이터 메시로 관리되는 기존 Cortex BigQuery 객체입니다.
BigQuery 애셋 주석 특정 BigQuery 테이블 또는 뷰에 적용된 메타데이터입니다. 여기에는 설명, 액세스 정책, 메타데이터 리소스에 대한 매핑이 포함됩니다. 메타데이터를 BigQuery 애셋과 연결하여 검색 및 액세스 제어를 사용 설정합니다.
리소스 사양 (spec) 메타데이터 리소스 또는 BigQuery 애셋 주석을 정의하는 YAML 파일입니다. 전체 리소스 사양은 배포할 데이터 메시 구성을 코딩합니다.