Dataplex 카탈로그에 저장된 BigQuery 메타데이터 변경사항

2024년 10월 15일~2025년 1월 31일 사이에 Dataplex 카탈로그에 저장된 일부 BigQuery 메타데이터가 변경됩니다.

이 변경사항으로 인해 Dataplex 카탈로그에 저장된 메타데이터가 BigQuery 메타데이터 및 다른 Google Cloud 소스의 메타데이터와 일관성을 유지하게 됩니다.

BigQuery 메타데이터에 종속된 워크로드가 있는 경우 연속성을 유지하도록 워크로드를 조정해야 합니다.

Dataplex 카탈로그 메타데이터에 대한 자세한 내용은 Dataplex 카탈로그 개요를 참조하세요.

변경 범위

이 섹션에 설명된 변경사항은 모든 BigQuery 항목에 적용됩니다. BigQuery 항목은 BigQuery 시스템의 항목 유형에 속하는 항목입니다.

다음 API 메서드는 이 변경사항의 영향을 받습니다.

데이터 유형 값과 테이블 하위유형 값의 변경사항은 Google Cloud 콘솔의 항목 세부정보 페이지에도 반영됩니다.

데이터 유형 값

관점 유형 SchemaAspect의 데이터 유형 값이 변경됩니다. dataType 필드가 영향을 받습니다.

변경 전 값 변경 후 값
INT64 INTEGER
FLOAT64 FLOAT
STRUCT RECORD
BOOL BOOLEAN

리소스 이름

최상위 항목 필드 entrySource.resource의 리소스 이름이 변경됩니다. 전체 리소스 이름 대신 리소스 ID가 포함되도록 필드가 수정됩니다.

변경 전 값 변경 후 값
//bigquery.googleapis.com/projects/PROJECT_ID/datasets/DATASET/tables/TABLE projects/PROJECT_ID/datasets/DATASET/tables/TABLE

상위 요소 유형 값

최상위 항목 필드 entrySource.ancestors.type의 상위 유형 값이 변경됩니다.

변경 전 값 변경 후 값
655216118709.global.Dataset dataplex-types.global.bigquery-dataset

필요한 조치

출시 기간은 2024년 10월 15일부터 2025년 1월 31일까지입니다. BigQuery 메타데이터 변경사항은 출시 기간 동안 점진적으로 적용됩니다.

필요한 작업은 다음과 같습니다.

  • 2024년 10월 15일 이전: 기존 버전의 메타데이터와 업데이트된 버전의 메타데이터를 모두 해석하도록 워크로드를 업데이트합니다.

  • 출시 기간 중: BigQuery 항목이 기존 버전의 메타데이터 또는 업데이트된 버전의 메타데이터를 캡처할 수 있습니다. 워크로드는 두 버전 모두를 해석할 수 있어야 합니다.

    BigQuery 항목이 업데이트된 메타데이터를 사용하는지 확인하려면 항목의 aspects 객체에서 관련 관점 유형을 찾습니다. 관점 유형의 aspectSource 객체에서 data_version 필드는 메타데이터 버전을 나타냅니다. 예를 들어 bigquery-table 항목의 경우 Entry.aspects.dataplex-types.global.bigquery-table.aspectSource.data_version 필드를 참조하세요.

    기존 메타데이터 버전 사용 업데이트된 메타데이터 버전 사용
    ""'(빈 문자열) "Ingestion/1.0.0"

  • 2025년 1월 31일 이후: 원하는 경우 새 버전의 메타데이터만 해석하도록 워크로드를 업데이트합니다.

지원

궁금한 점이 있으면 dataplex-msa-support@google.com에 문의하세요.