데이터 메시 개념
Google Cloud Cortex Framework를 사용하여 데이터 메시를 배포하는 방법에 관한 자세한 가이드를 살펴보기 전에 이 페이지에서는 관련 데이터 메시 개념이 일반적으로 Google Cloud 제품 내에서, 특히 Cortex Framework 컨텍스트와 함께 구현되는 방법에 관한 기반을 제공합니다. 데이터 메시 개념을 이해한 후 Cortex Framework 데이터 기반에 관한 데이터 메시 사용자 가이드를 참고하세요.
Dataplex
다음 표에서는 Dataplex 내의 데이터 메시 개념을 정의합니다.
개념 | 설명 | Cortex Framework 컨텍스트 |
호수 | 데이터 메시 내에서 데이터를 구성하기 위한 최상위 단위입니다. Dataplex - 레이크를 관리합니다. | 데이터 소스(예: SAP ECC , Salesforce , Google Ads )
|
영역 | 레이크 내에서 데이터를 구성하기 위한 두 번째 수준의 단위입니다. | 데이터 소스 내의 특정 처리 레이어(예: 원시 및 CDC) |
Dataplex 애셋 | Cloud Storage 또는 BigQuery에 저장되고 영역과 연결된 데이터 참조입니다. 이는 데이터 자체가 아닌 데이터 애셋에 대한 참조입니다. | ZONE에 등록된 BigQuery 데이터 세트 참조입니다. |
라벨 | 호수 또는 영역에 적용할 수 있는 임의의 키-값 쌍입니다. | 테이블이나 열이 아닌 전체 레이크 또는 영역에 Dataplex에서 볼 수 있거나 맞춤 애플리케이션에 사용할 수 있는 메타데이터로 라벨을 지정합니다. |
Data Catalog | 웨어하우스 내에서 데이터 애셋을 검색, 이해 또는 관리하는 데 사용할 수 있는 기술 비즈니스 메타데이터입니다. | 레이크나 영역이 아닌 테이블이나 열에 Dataplex 검색 또는 맞춤 애플리케이션에서 사용할 수 있는 풍부한 메타데이터 태그로 주석을 추가합니다. |
카탈로그 태그 템플릿 | 태그에서 사용 가능한 필드와 유형을 정의하는 템플릿입니다. Dataplex - 태그 템플릿 관리 | 데이터 애셋에 비즈니스 부문으로 태그를 지정하는 등의 용도로 사용할 템플릿 집합을 정의합니다. |
카탈로그 태그 | 표 또는 열에 적용할 수 있는 메타데이터를 포함하는 필드 및 값의 집합입니다. 태그 템플릿의 인스턴스입니다. | 특정 비즈니스 부문과 같이 저작물과 관련된 메타데이터 값으로 표 또는 열에 주석을 추가합니다. |
카탈로그 용어집 | 정의하고 BigQuery 열과 연결할 수 있는 용어 사전입니다. Dataplex - 용어집을 관리합니다. | BigQuery 애셋에 사용되는 용어 또는 약어를 정의합니다. 이는 향후 계획되어 있으며 현재는 지원되지 않습니다. |
데이터 계보 | BigQuery 애셋 종속 항목을 나타내는 그래프 | 이는 Cortex Data Mesh에서 정의하지는 않지만 사용자가 BigQuery 애셋 데이터 소스를 찾는 데 도움이 되는 관련 Dataplex 도구입니다. |
계보 이벤트 | BigQuery 애셋 간에 데이터를 이동하는 작업이 발생한 시점입니다. 링크 목록을 포함합니다. | 지원되는 BigQuery 및 Composer 작업을 위해 자동으로 생성됩니다. |
계보 링크 | 계보 이벤트의 일부로 소스에서 대상 애셋으로 전송되는 데이터를 나타내는 에지입니다. | 이를 분석하여 콘솔에 표시되는 계보 시각화 그래프 외의 사용 사례를 지원할 수 있습니다. |
BigQuery
다음 표는 BigQuery 내의 데이터 메시 개념을 정의합니다.
개념 | 설명 | Cortex Framework 컨텍스트 |
정책 분류 | 정책 태그의 계층 구조 BigQuery - 정책 태그를 관리합니다. | 액세스 제어에 사용할 수 있는 관련 정책 태그를 상속된 권한이 있는 계층 구조로 정리합니다. |
정책 태그 | BigQuery 테이블 또는 뷰 내 특정 열에 적용되는 태그입니다. 계층 구조의 모든 수준에서 정책 태그를 적용할 수 있습니다. 특정 열에는 정책 태그를 하나만 적용할 수 있습니다. | 열 수준 액세스 제어에 사용되는 태그로 열에 주석을 추가합니다. 정책 태그의 주 구성원은 원시 열 데이터를 볼 수 있는 '세분화된' 또는 '마스킹 해제된' 리더를 정의합니다. |
데이터 정책 | 마스킹된 열 데이터를 볼 수 있는 방법과 사용자를 정의하는 정책 태그에 적용된 정책입니다. | 데이터 정책의 주 구성원은 마스킹된 열 데이터를 볼 수 있는 '마스킹된 리더'를 정의합니다. 마스킹 또는 마스킹 해제된 리더 권한이 없는 사용자는 열을 쿼리할 수 없습니다. |
마스킹 규칙 | 데이터가 마스킹되는 방식을 정의하는 데이터 정책에 적용되는 규칙입니다(예: 해싱, 기본값 표시, 마지막 4자리 표시 등). | 민감한 열에 상황에 따라 적용됩니다. |
행 액세스 정책 | 특정 열 값을 기반으로 테이블 내 행을 쿼리할 수 있는 그룹을 정의하는 SQL 문입니다. | 애셋 및 열 수준 컨트롤이 충분하지 않은 경우 행 수준 액세스 제어에 사용됩니다. |
Cortex 데이터 메시 개념
다음 표에서는 Cortex 프레임워크 내의 특정 데이터 메시 개념을 정의합니다.
개념 | 설명 | Cortex Framework 컨텍스트 |
메타데이터 리소스 | 여러 BigQuery 애셋에서 재사용할 수 있는 메타데이터 항목입니다. 예를 들면 레이크, 카탈로그 태그 템플릿, 정책 분류가 있습니다. 이는 BigQuery 자체의 데이터가 아닌 메타데이터입니다. | Cortex Data Mesh를 일관되게 관리할 수 있도록 재사용 가능한 리소스를 정의합니다. |
BigQuery 애셋 | BigQuery 테이블 또는 뷰 | 데이터 메시로 관리되는 기존 Cortex BigQuery 객체입니다. |
BigQuery 애셋 주석 | 특정 BigQuery 테이블 또는 뷰에 적용된 메타데이터입니다. 여기에는 설명, 액세스 정책, 메타데이터 리소스에 대한 매핑이 포함됩니다. | 메타데이터를 BigQuery 애셋과 연결하여 검색 및 액세스 제어를 사용 설정합니다. |
리소스 사양 (spec) | 메타데이터 리소스 또는 BigQuery 애셋 주석을 정의하는 YAML 파일입니다. | 전체 리소스 사양은 배포할 데이터 메시 구성을 코딩합니다. |