데이터 메시 사용자 가이드

Cortex 프레임워크용 데이터 메시를 사용하면 BigQuery 메타데이터와 Dataplex 범용 카탈로그를 통해 데이터 거버넌스, 검색 가능성, 액세스 제어를 지원하도록 데이터 기반을 확장할 수 있습니다. 이는 맞춤설정할 수 있고 데이터 기반과 함께 선택적으로 배포할 수 있는 기본 메타데이터 리소스 및 BigQuery 애셋 주석을 제공하여 구현됩니다. 이러한 기본 사양은 Cortex Framework 데이터 기반을 보완하는 메타데이터 기반인 맞춤 구성을 제공합니다. 이 가이드를 진행하기 전에 데이터 메시 개념을 참고하세요.

이 페이지에 설명된 단계는 Cortex Framework용 데이터 메시를 구성하기 위해 특별히 설계되었습니다. 데이터 메시 디렉터리 섹션의 각 워크로드에 해당하는 폴더에서 데이터 메시 구성 파일을 찾습니다.

경고: 이 데이터 메시 가이드는 시간이 지남에 따라 변경될 수 있습니다. Cortex팀에 문의하세요.

그림 1. Cortex Framework의 데이터 메시 아키텍처

디자인

Cortex의 데이터 메시(Data Mesh)는 전체 데이터 기반과 유사하게 설계되었으며 Cortex 또는 사용자가 관리하는 다양한 하위 구성요소로 구성된 세 단계로 이루어져 있습니다.

1. 기본 리소스 사양 업데이트: Cortex는 각 출시마다 기본 리소스 사양을 업데이트하여 데이터 메시를 위한 표준화된 메타데이터 기반을 제공합니다.
2. 리소스 사양 맞춤설정: 사용자는 배포 전에 특정 사용 사례 및 요구사항에 맞게 리소스 사양을 맞춤설정할 수 있습니다.
3. 데이터 메시 배포 및 업데이트: 사용자는 Cortex 구성 파일에서 데이터 메시를 사용 설정할 수 있습니다. Cortex 배포 중에 데이터 애셋 다음에 배포됩니다. 또한 사용자는 추가 업데이트를 위해 데이터 메시를 독립적으로 배포할 수 있습니다.

그림 2. Cortex Framework용 데이터 메시 설계

데이터 메시 디렉터리

다음 위치에서 각 워크로드 및 데이터 소스의 데이터 메시 기본 구성 파일을 찾습니다. 디렉터리에는 서로 다른 파일 구조가 포함되어 있지만 모든 사양은 config 폴더 아래에 유사하게 위치합니다.

워크로드	데이터 소스	디렉터리 경로
운영	SAP ECC	src/SAP/SAP_REPORTING/config/ecc
	SAP S/4 HANA	src/SAP/SAP_REPORTING/config/s4
	Salesforce Sales Cloud (SFDC)	src/SFDC/config
	Oracle EBS	src/OracleEBS/config
마케팅	CM360	src/marketing/src/CM360/config
	Google Ads	src/marketing/src/GoogleAds/config
	메타	src/marketing/src/Meta/config
	Salesforce Marketing Cloud (SFMC)	src/marketing/src/SFMC/config
	TikTok	src/marketing/src/TikTok/config
	YouTube (DV360 사용)	src/marketing/src/DV360/config
	Google 애널리틱스 4	src/marketing/src/GA4/config

참고: Data Mesh는 LiveRamp 또는 Dun & Bradstreet (ESG) 데이터를 지원하지 않습니다.

메타데이터 리소스는 데이터 소스 수준에서 정의되며 Google Cloud 프로젝트당 하나의 YAML 파일이 있고 모든 리소스 목록이 포함되어 있습니다. 필요한 경우 사용자는 기존 파일을 확장하거나 해당 디렉터리 내에 추가 리소스 사양이 포함된 YAML 파일을 추가로 만들 수 있습니다.

애셋 주석은 애셋 수준에서 정의되며 파일당 단일 주석이 있는 디렉터리에 많은 YAML 파일이 포함되어 있습니다.

API 사용 설정 및 권한 확인

데이터 메시의 기본값을 수정하면 설명을 넘어 기능을 구현할 수 있습니다. 설명 이상의 기능을 구현하기 위해 config.json에서 데이터 메시의 기본값을 수정해야 하는 경우 다음 표에 설명된 대로 필요한 API와 권한이 설정되어 있는지 확인하세요. 데이터 기반으로 데이터 메시를 배포할 때는 배포 사용자 또는 Cloud Build 계정에 권한을 부여합니다. 배포에 서로 다른 소스 및 타겟 프로젝트가 포함된 경우 이러한 기능이 사용되는 모든 위치에서 두 프로젝트 모두에 이러한 API와 권한이 사용 설정되어 있는지 확인합니다.

기능	권한 역할	문서
BigQuery 애셋 및 행 액세스	BigQuery 데이터 소유자	자세한 내용은 애셋 역할의 경우 필수 역할을, 행 역할의 경우 필수 권한을 참고하세요.
BigQuery 열 액세스	정책 태그 관리자	자세한 내용은 열 수준 액세스 제어에 사용되는 역할 및 열 수준 액세스 제어로 액세스 제한 문서를 참고하세요.
카탈로그 태그	Data Catalog 태그 템플릿 소유자	자세한 내용은 Data Catalog를 사용하여 BigQuery 테이블에 태그 지정 및 Data Catalog IAM 문서를 참고하세요.
Dataplex 범용 카탈로그 레이크	Dataplex 범용 카탈로그 편집자	자세한 내용은 레이크 만들기 문서를 참고하세요.

참고: Cortex Data Mesh에는 Dataproc 및 Dataproc Metastore API 통합이 필요하지 않습니다.

기본 리소스 사양 이해

Cortex의 데이터 메시를 구성하는 기본 인터페이스는 기본 리소스 사양을 통해서입니다. 기본 리소스 사양은 배포되는 메타데이터 리소스와 주석을 정의하는 기본 제공 YAML 파일 집합입니다. 기본 사양은 초기 권장사항과 구문 예시를 제공하지만 사용자 요구에 맞게 추가로 맞춤설정할 수 있습니다. 이러한 사양은 두 가지 카테고리로 분류됩니다.

• 다양한 데이터 애셋에 적용할 수 있는 메타데이터 리소스 예를 들어 애셋에 비즈니스 도메인으로 태그를 지정하는 방법을 정의하는 카탈로그 태그 템플릿이 있습니다.
• 메타데이터 리소스가 특정 데이터 애셋에 적용되는 방식을 지정하는 주석 예를 들어 특정 테이블을 판매 도메인과 연결하는 카탈로그 태그가 있습니다.

다음 섹션에서는 각 사양 유형의 기본 예를 안내하고 이를 맞춤설정하는 방법을 설명합니다. 기본 사양은 연결된 배포 옵션이 사용 설정된 경우 배포에 맞게 수정해야 하는 위치에 ## CORTEX-CUSTOMER로 태그됩니다. 고급 사용의 경우 src/common/data_mesh/src/data_mesh_types.py에서 이러한 사양 스키마의 표준 정의를 참고하세요.

메타데이터 리소스

메타데이터 리소스는 프로젝트 내에 있으며 여러 데이터 애셋에 적용할 수 있는 공유 항목입니다. 대부분의 사양에는 다음 기준이 적용되는 display_name 필드가 포함됩니다.

• 유니코드 문자, 숫자 (0~9), 밑줄 (_), 대시 (-), 공백 ( )만 포함합니다.
• 공백으로 시작하거나 끝날 수 없습니다.
• 최대 길이는 200자(영문 기준)입니다.

경우에 따라 display_name이 ID로도 사용되므로 추가 요구사항이 발생할 수 있습니다. 이 경우 표준 문서 링크가 포함됩니다.

배포가 서로 다른 소스 및 타겟 프로젝트의 메타데이터 리소스를 참조하는 경우 각 프로젝트에 대해 정의된 사양이 있어야 합니다. 예를 들어 Cortex Salesforce (SFDC)에는 두 개의 Lake 사양이 포함되어 있습니다. 하나는 원시 및 CDC 영역용이고 다른 하나는 보고용입니다.

Dataplex 범용 카탈로그 레이크

Dataplex 범용 카탈로그 레이크, 영역, 애셋은 엔지니어링 관점에서 데이터를 구성하는 데 사용됩니다. 레이크에는 region가 있고 영역에는 location_type가 있으며 둘 다 Cortex 위치(config.json > location)와 관련이 있습니다. Cortex 위치는 BigQuery 데이터 세트가 저장되는 위치를 정의하며 단일 리전 또는 멀티 리전일 수 있습니다. 영역 location_type은 이에 맞게 SINGLE_REGION | MULTI_REGION로 설정해야 합니다. 하지만 Lake 리전은 항상 단일 리전이어야 합니다. Cortex 위치와 영역 location_type이 멀티 리전인 경우 해당 그룹 내에서 Lake 리전의 단일 리전을 선택합니다.

• 요구사항
  • 레이크 display_name는 lake_id으로 사용되며 공식 요구사항을 준수해야 합니다. 영역 및 애셋 display_name도 마찬가지입니다. 영역 ID는 프로젝트의 모든 레이크에서 고유해야 합니다.
  • 레이크 사양은 단일 리전과 연결되어야 합니다.
  • asset_name는 BigQuery 데이터 세트의 ID와 일치해야 하지만 display_name는 더 사용자 친화적인 라벨일 수 있습니다.
• 제한사항
  • Dataplex 범용 카탈로그는 개별 테이블이 아닌 BigQuery 데이터 세트만 Dataplex 범용 카탈로그 애셋으로 등록하는 것을 지원합니다.
  • 저작물은 하나의 영역에만 등록될 수 있습니다.
  • Dataplex 범용 카탈로그는 특정 위치에서만 지원됩니다. 자세한 내용은 Dataplex Universal Catalog 위치를 참고하세요.

lakes.yaml의 다음 예를 참고하세요.

이러한 리소스는 data_mesh_types.Lakes를 지정하는 YAML 파일에 정의되어 있습니다.

카탈로그 태그 템플릿

Data Catalog 태그 템플릿을 사용하여 BigQuery 테이블 또는 개별 열에 컨텍스트를 추가할 수 있습니다. 이를 통해 Dataplex 범용 카탈로그 검색 도구와 통합된 방식으로 기술적 관점과 비즈니스적 관점에서 데이터를 분류하고 이해할 수 있습니다. 데이터에 라벨을 지정하는 데 사용할 수 있는 특정 필드와 각 필드에 포함할 수 있는 정보 유형 (예: 텍스트, 숫자, 날짜)을 정의합니다. 카탈로그 태그는 실제 필드 값이 있는 템플릿의 인스턴스입니다.

템플릿 필드 display_name는 필드 ID로 사용되며 클래스 TagTemplate에 지정된 TagTemplate.fields 요구사항을 따라야 합니다. 지원되는 필드 유형에 대한 자세한 내용은 Data Catalog 필드 유형을 참고하세요.

Cortex Data Mesh는 모든 태그 템플릿을 공개적으로 읽을 수 있는 것으로 만듭니다. 또한 태그가 전체 애셋에 적용되어야 하는지, 애셋 내 개별 필드에 적용되어야 하는지, 아니면 둘 다에 적용되어야 하는지를 정의하는 추가 level 개념을 태그 템플릿 사양에 도입합니다. 가능한 값은 ASSET | FIELD | ANY입니다. 현재는 엄격하게 적용되지 않지만 향후 유효성 검사에서는 배포 중에 태그가 적절한 수준에서 적용되는지 확인할 수 있습니다.

다음 예를 참고하세요.

템플릿은 data_mesh_types.CatalogTagTemplates을 지정하는 YAML 파일에 정의됩니다.

카탈로그 태그는 템플릿의 인스턴스이며, 아래의 애셋 주석에서 설명합니다.

태그 템플릿을 사용한 애셋 및 열 수준 액세스 제어

Cortex 프레임워크는 카탈로그 태그 템플릿과 연결된 모든 아티팩트에서 애셋 또는 열 수준 액세스 제어를 사용 설정하는 기능을 제공합니다. 예를 들어 사용자가 비즈니스 부문에 따라 애셋에 대한 액세스 권한을 부여하려는 경우 각 비즈니스 도메인에 대해 서로 다른 주 구성원이 지정된 line_of_business 카탈로그 태그 템플릿의 asset_policies를 만들 수 있습니다. 각 정책은 특정 값이 있는 태그만 일치시키는 데 사용할 수 있는 filters를 허용합니다. 이 경우 domain 값을 일치시킬 수 있습니다. 이러한 filters는 같음 일치만 지원하며 다른 연산자는 지원하지 않습니다. 필터가 여러 개 나열된 경우 결과는 모든 필터를 충족해야 합니다(예: filter_a AND filter_b). 최종 애셋 정책 집합은 주석에 직접 정의된 정책과 템플릿 정책의 합집합입니다.

카탈로그 태그를 사용한 열 수준 액세스 제어는 일치하는 필드에 정책 태그를 적용하여 유사하게 작동합니다. 하지만 열에는 정책 태그를 하나만 적용할 수 있으므로 우선순위는 다음과 같습니다.

1. 직접 정책 태그: 정책 태그가 열 주석에 직접 정의된 경우 우선 적용됩니다.
2. 일치하는 태그 템플릿 정책: 그렇지 않으면 액세스 권한은 연결된 카탈로그 태그 템플릿 내 필드에 정의된 첫 번째 일치 정책에 따라 결정됩니다.

이 기능을 사용할 때는 카탈로그 태그 및 액세스 제어 목록 (ACL) 배포를 함께 사용 설정 또는 중지하는 것이 좋습니다. 이렇게 하면 ACL이 올바르게 배포됩니다.

이 고급 기능의 사양을 이해하려면 data_mesh_types.CatalogTagTemplate에서 asset_policies 및 field_policies 매개변수의 정의를 참고하세요.

카탈로그 용어집

용어집은 보편적으로 이해되지 않을 수 있는 데이터 애셋 내 특정 열에서 사용되는 용어의 사전을 제공하는 데 사용할 수 있는 도구입니다. 사용자는 콘솔에서 직접 용어를 추가할 수 있지만 리소스 사양을 통한 지원은 없습니다.

정책 분류 및 태그

정책 분류 및 태그를 사용하면 민감한 정보 애셋에 대한 열 수준 액세스 제어를 표준화된 방식으로 사용할 수 있습니다. 예를 들어 특정 비즈니스 라인의 PII 데이터를 관리하는 태그의 분류가 있을 수 있습니다. 여기서는 특정 그룹만 마스킹된 데이터, 마스킹 해제된 데이터를 읽거나 읽기 액세스 권한이 전혀 없을 수 있습니다.

정책 분류 및 태그에 대한 자세한 내용은 열 데이터 마스킹 소개 문서를 참고하세요. 다음 섹션이 특히 관련이 있습니다.

• 역할 상호작용
• 승인 상속
• 마스킹 규칙 및 계층 구조
• 정책 태그 권장사항

Cortex 프레임워크는 정책 태그가 지정되는 방식과 잠재적 사용 사례를 보여주는 샘플 정책 태그를 제공하지만 액세스 제어에 영향을 미치는 리소스는 기본적으로 데이터 메시 배포에서 사용 설정되지 않습니다.

다음 예를 참고하세요.

정책 분류는 data_mesh_types.PolicyTaxonomies를 지정하는 YAML 파일에 정의되어 있습니다.

애셋 주석

주석은 특정 애셋에 적용할 수 있는 메타데이터를 지정하며 정의된 공유 메타데이터 리소스를 참조할 수 있습니다. 주석에는 다음이 포함됩니다.

• 애셋 설명
• 필드 설명
• 카탈로그 태그
• 애셋, 행, 열 수준 액세스 제어

참고: 주석 파일을 수정하는 경우 콘솔에서는 설명의 새 줄만 공백으로 렌더링합니다.

Cortex Framework 데이터 기반은 다음 워크로드에 대해 사전 구성된 주석(설명)을 제공합니다.

• SAP ECC (원시, CDC, 보고)
• SAP S4 HANA (원시, CDC, 보고)
• SFDC (보고서 전용)
• Oracle EBS (보고 전용)
• CM360 (보고 전용)
• Google Ads (보고 전용)
• Meta (보고서 전용)
• SFMC (보고서 전용)
• TikTok (보고서 전용)
• YouTube (DV360 사용) (보고 전용)
• Google 애널리틱스 4 (보고 전용)

다음 예를 참고하세요.

주석은 data_mesh_types.BqAssetAnnotation를 지정하는 YAML 파일에 정의됩니다.

카탈로그 태그

카탈로그 태그는 정의된 템플릿의 인스턴스로, 특정 애셋에 적용되는 필드 값이 할당됩니다. 연결된 템플릿에 선언된 필드 유형과 일치하는 값을 할당해야 합니다.

TIMESTAMP 값은 다음 형식 중 하나여야 합니다.

  "%Y-%m-%d %H:%M:%S%z"
  "%Y-%m-%d %H:%M:%S"
  "%Y-%m-%d"

다음 예를 참고하세요.

data_mesh_types.CatalogTag의 사양 정의를 참고하세요.

액세스 정책 판독기 및 주 구성원 지정

액세스 정책을 사용하여 Cortex Framework에서 BigQuery 데이터에 대한 액세스를 제어합니다. 이러한 정책은 특정 데이터 애셋, 애셋 내 행 또는 개별 열에 액세스할 수 있는 사용자 (주 구성원)를 정의합니다. 주 구성원은 IAM 정책 바인딩 구성원에 정의된 특정 형식을 따라야 합니다.

애셋 수준 액세스

다양한 권한으로 전체 BigQuery 애셋에 대한 액세스 권한을 부여할 수 있습니다.

• READER: 애셋의 데이터를 봅니다.
• WRITER: 애셋의 데이터를 수정하고 추가합니다.
• OWNER : 액세스 관리를 비롯한 애셋에 대한 모든 권한

이러한 권한은 SQL의 GRANT DCL 문과 동일합니다.

대부분의 리소스 및 주석의 동작과 달리 덮어쓰기 플래그는 OWNERS 역할이 있는 기존 주 구성원을 삭제하지 않습니다. 덮어쓰기가 사용 설정된 새 소유자를 추가하면 기존 소유자에게만 추가됩니다. 이는 의도치 않은 액세스 권한 손실을 방지하기 위한 보호 조치입니다. 콘솔을 사용하여 애셋 소유자를 삭제합니다. 덮어쓰면 READER 또는 WRITER 역할이 있는 기존 주 구성원이 삭제됩니다.

다음 예를 참고하세요.

data_mesh_types.BqAssetPolicy의 사양 정의를 참고하세요.

행 수준 액세스

특정 열 값 필터를 기반으로 행 집합에 대한 액세스 권한을 부여할 수 있습니다. 행 액세스 정책을 지정할 때 제공된 필터 문자열이 CREATE DDL statement에 삽입됩니다. overwrite 플래그가 사용 설정된 경우 새 행 액세스 정책을 적용하기 전에 기존 행 액세스 정책을 모두 삭제합니다.

행 수준 액세스에 관해 다음 사항을 고려하세요.

• 행 액세스 정책을 추가하면 해당 정책에 지정되지 않은 사용자는 행을 볼 수 없습니다.
• 행 정책은 뷰가 아닌 표에서만 작동합니다.
• 행 액세스 정책 필터에서 파티션 나누기 열을 사용하지 마세요. 애셋 유형 및 파티셔닝된 열에 대한 자세한 내용은 연결된 보고 설정 YAML 파일을 참고하세요.

행 수준 액세스 정책에 대한 자세한 내용은 행 수준 보안 권장사항을 참고하세요.

다음 예를 참고하세요.

data_mesh_types.BqRowPolicy의 사양 정의를 참고하세요.

열 수준 액세스

열 수준 액세스를 사용 설정하려면 정책 태그 이름과 분류 이름으로 식별되는 정책 태그로 개별 필드에 주석을 추가합니다. 액세스 제어를 구성하도록 정책 태그 메타데이터 리소스를 업데이트합니다.

다음 예를 참고하세요.

data_mesh_types.PolicyTagId의 사양 정의를 참고하세요.

데이터 메시 배포

데이터 메시를 데이터 파운데이션 배포의 일부로 배포하거나 자체적으로 배포할 수 있습니다. 어떤 경우든 Cortex config.json 파일을 사용하여 BigQuery 데이터 세트 이름, 배포 옵션과 같은 관련 변수를 결정합니다. 기본적으로 데이터 메시를 배포해도 의도치 않은 손실을 방지하기 위해 기존 리소스나 주석이 삭제되거나 덮어쓰이지 않습니다. 하지만 자체적으로 배포할 때 기존 리소스를 덮어쓸 수도 있습니다.

배포 옵션

다음 배포 옵션은 config.json > DataMesh의 사용자 요구사항 및 지출 제약에 따라 사용 설정 또는 중지할 수 있습니다.

참고: deployACLs이 사용 설정된 경우 이러한 리소스 사양을 통해서만 액세스 제어를 실행하는 것이 좋습니다. 이렇게 하면 의도치 않은 액세스 추가 또는 삭제를 방지할 수 있습니다.

옵션	참고
deployDescriptions	이 옵션은 기본적으로 사용 설정되는 유일한 옵션이며, 애셋 및 열 설명과 함께 BigQuery 주석을 배포합니다. 추가 API나 권한을 사용 설정할 필요가 없습니다.
deployLakes	레이크 및 영역을 배포합니다.
deployCatalog	애셋 주석에 카탈로그 템플릿 리소스와 연결된 태그를 배포합니다.
deployACLs	애셋 주석을 통해 정책 분류 리소스와 애셋, 행, 열 수준 액세스 제어 정책을 배포합니다. 로그에는 액세스 정책이 변경된 방식을 나타내는 메시지가 포함됩니다.

데이터 파운데이션으로 배포

기본적으로 config.json > deployDataMesh을 사용하면 각 워크로드 빌드 단계가 끝날 때 데이터 메시 애셋 설명을 배포할 수 있습니다. 이 기본 구성에서는 추가 API나 역할을 사용 설정할 필요가 없습니다. 배포 옵션, 필수 API 및 역할을 사용 설정하고 연결된 리소스 사양을 수정하여 데이터 메시의 추가 기능을 데이터 파운데이션과 함께 배포할 수 있습니다.

혼자 배포

데이터 메시만 배포하려면 사용자가 common/data_mesh/deploy_data_mesh.py 파일을 사용하면 됩니다. 이 유틸리티는 빌드 프로세스 중에 데이터 메시를 한 번에 하나의 워크로드로 배포하는 데 사용되지만 직접 호출하면 한 번에 여러 워크로드를 배포하는 데도 사용할 수 있습니다. 배포할 사양의 워크로드는 config.json 파일에서 사용 설정해야 합니다. 예를 들어 SAP용 데이터 메시를 배포하는 경우 deploySAP=true를 확인합니다.

필요한 패키지와 버전으로 배포하고 있는지 확인하려면 Cortex 배포 프로세스에서 사용되는 것과 동일한 이미지에서 다음 명령어를 사용하여 유틸리티를 실행하면 됩니다.

  # Run container interactively
  docker container run -it gcr.io/kittycorn-public/deploy-kittycorn:v2.0

  # Clone the repo
  git clone https://github.com/GoogleCloudPlatform/cortex-data-foundation

  # Navigate into the repo
  cd cortex-data-foundation

사용 가능한 매개변수와 사용법에 관한 도움말을 보려면 다음 명령어를 실행하세요.

  python src/common/data_mesh/deploy_data_mesh.py -h

다음은 SAP ECC 호출의 예입니다.

  python src/common/data_mesh/deploy_data_mesh.py \
    --config-file config/config.json \
    --lake-directories \
        src/SAP/SAP_REPORTING/config/ecc/lakes \
    --tag-template-directories \
        src/SAP/SAP_REPORTING/config/ecc/tag_templates \
    --policy-directories \
        src/SAP/SAP_REPORTING/config/ecc/policy_taxonomies \
    --annotation-directories \
        src/SAP/SAP_REPORTING/config/ecc/annotations

디렉터리 위치에 관한 자세한 내용은 데이터 메시 디렉터리 섹션을 참고하세요.

덮어쓰기

경고: 덮어쓰기 옵션을 사용하기 전에 이 섹션을 자세히 읽어보세요.

기본적으로 데이터 메시를 배포해도 기존 리소스나 주석은 덮어쓰지 않습니다. 하지만 Data Mesh만 배포할 때 --overwrite 플래그를 사용 설정하여 다음과 같은 방법으로 배포를 변경할 수 있습니다.

레이크, 카탈로그 태그 템플릿, 정책 태그와 같은 메타데이터 리소스를 덮어쓰면 이름이 동일한 기존 리소스가 삭제되지만 이름이 다른 기존 리소스는 수정되지 않습니다. 즉, 리소스 사양이 YAML 파일에서 완전히 삭제된 후 덮어쓰기가 사용 설정된 상태로 데이터 메시가 재배포되면 이름 충돌이 없으므로 해당 리소스 사양은 삭제되지 않습니다. 이는 Cortex Data Mesh 배포가 사용 중일 수 있는 기존 리소스에 영향을 미치지 않도록 하기 위한 것입니다.

Lake 및 Zone과 같은 중첩된 리소스의 경우 리소스를 덮어쓰면 모든 하위 항목이 삭제됩니다. 예를 들어 레이크를 덮어쓰면 기존 영역과 애셋 참조도 삭제됩니다. 덮어쓰는 카탈로그 태그 템플릿 및 정책 태그의 경우 기존 연결된 주석 참조도 애셋에서 삭제됩니다. 애셋 주석의 카탈로그 태그를 덮어쓰면 동일한 템플릿을 공유하는 기존 카탈로그 태그 인스턴스만 덮어쓰게 됩니다.

저작물 및 필드 설명 덮어쓰기는 기존 설명과 충돌하는 유효한 새 설명이 제공된 경우에만 적용됩니다.

반면 ACL은 다르게 작동합니다. ACL을 덮어쓰면 애셋 수준 소유자를 제외한 모든 기존 주 구성원이 삭제됩니다. 액세스 정책에서 생략된 주 구성원은 액세스 권한이 부여된 주 구성원만큼 중요하기 때문입니다.

데이터 메시 살펴보기

데이터 메시를 배포한 후 사용자는 Data Catalog로 데이터 애셋을 검색하고 볼 수 있습니다. 여기에는 적용된 카탈로그 태그 값을 기반으로 애셋을 검색하는 기능이 포함됩니다. 필요한 경우 사용자가 카탈로그 용어집 용어를 수동으로 만들어 적용할 수도 있습니다.

배포된 액세스 정책은 BigQuery 스키마 페이지에서 확인할 수 있으며, 각 수준에서 특정 애셋에 적용된 정책을 확인할 수 있습니다.

데이터 계보

사용자는 BigQuery 애셋 간의 계보를 사용 설정하고 시각화하는 것이 유용할 수 있습니다. API를 통해 계보에 프로그래매틱 방식으로 액세스할 수도 있습니다. 데이터 계보는 애셋 수준 계보만 지원합니다. 데이터 계보는 Cortex 데이터 메시와 관련이 없지만, 향후 계보를 활용하는 새로운 기능이 도입될 수 있습니다.

Cortex Data Mesh 또는 Cortex Framework 요청의 경우 지원 섹션으로 이동하세요.