Data Catalog에서 Dataplex 카탈로그로 전환

Data Catalog를 사용하는 경우 이 문서에 설명된 단계에 따라 Data Catalog 콘텐츠와 사용량을 Dataplex 카탈로그로 전환할 수 있습니다.

카탈로그를 처음 사용하는 경우 Dataplex 카탈로그를 기본 카탈로그 환경으로 구성하여 시작해 보세요.

이 문서는 데이터 관리자와 데이터 스튜어드를 대상으로 합니다.

Dataplex 카탈로그에 새로운 웹 인터페이스와 API가 있습니다. Dataplex 카탈로그로 전환하면 기존 및 향후 워크로드와 사용자가 향상된 기능과 성능을 활용할 수 있습니다. 자세한 내용은 Dataplex 카탈로그 개요를 참고하세요.

Dataplex 카탈로그와 Data Catalog를 비교하려면 Dataplex 카탈로그와 Data Catalog 비교를 참고하세요.

전환을 시작하기 전에 Dataplex 카탈로그에서 지원되지 않는 기능을 검토하세요.

전환 개요

Google Cloud 콘솔의 Dataplex로의 전환 관리 페이지는 전환을 관리할 수 있는 단일 액세스 포인트를 제공합니다.

이 섹션에서는 다양한 전환 시나리오를 설명하고 각 시나리오의 전환 프로세스를 간략히 설명합니다.

Data Catalog에 맞춤 메타데이터가 없거나 Data Catalog를 사용한 적이 없는 경우

Data Catalog를 사용 중이며 태그, 태그 템플릿, 맞춤 항목 또는 항목 그룹과 같은 맞춤 메타데이터가 없거나 Data Catalog를 사용한 적이 없는 경우 기본 카탈로그 UI 환경을 Dataplex 카탈로그로 설정하여 전환을 완료합니다.

Data Catalog 맞춤 메타데이터 또는 프로그래매틱 워크로드가 있는 경우

태그, 태그 템플릿, 맞춤 항목 또는 항목 그룹과 같은 맞춤 메타데이터와 함께 Data Catalog를 사용하는 경우 Dataplex는 이 맞춤 메타데이터를 read-only로 자동으로 Dataplex 카탈로그로 가져올 수 있습니다. 이 기능을 사용 설정하려면 준비 단계에 설명된 대로 구성을 변경해야 합니다.

두 번째 단계는 맞춤 메타데이터의 활성 상태 (read-write)가 Dataplex 카탈로그로 이동하는 전송 단계입니다. 이 단계에서는 Dataplex 카탈로그와 상호작용하도록 API, 클라이언트 라이브러리, Terraform 모듈, Google Cloud CLI 명령어와 같은 프로그래매틱 워크로드도 업데이트해야 합니다.

다음은 전환 프로세스의 각 단계에 관한 자세한 내용입니다.

  1. 준비 단계: Data Catalog 콘텐츠를 Dataplex 카탈로그에서 read-only로 동시에 사용할 수 있도록 하는 데 필요한 구성 작업을 실행합니다. 이 단계에서 Data Catalog는 메타데이터 콘텐츠의 공신력 있는 소스로 유지됩니다.

    준비 단계에는 다음 작업이 포함됩니다.

    1. Data Catalog 비공개 태그 템플릿을 공개로 업데이트합니다.
    2. Dataplex 카탈로그에서 메타데이터를 동시에 사용할 수 있도록 태그 템플릿 및 태그를 선택합니다.
    3. 맞춤 메타데이터에 대한 Dataplex 카탈로그 IAM 권한을 구성합니다.

    자세한 내용은 준비 단계를 참고하세요.

  2. 전송 단계: 카탈로그 사용 및 맞춤 메타데이터의 활성 상태 (read-write)를 Dataplex 카탈로그로 이동합니다.

    전송 단계에는 다음 작업이 포함됩니다.

    1. 기본 카탈로그 UI 환경을 Dataplex 카탈로그로 설정합니다.
    2. Data Catalog 맞춤 메타데이터를 Dataplex 카탈로그로 전송합니다.
    3. 프로그래매틱 워크로드를 업데이트합니다.

    전송 단계를 완료하면 Dataplex 카탈로그가 모든 메타데이터의 공신력 있는 소스가 되며 Data Catalog를 사용할 필요가 없습니다.

    자세한 내용은 전송 단계를 참고하세요.

필요한 역할

Data Catalog에서 Dataplex 카탈로그로 전환하는 데 필요한 권한을 얻으려면 리소스에 다음 IAM 역할을 부여하세요.

  • 비공개 태그 템플릿을 공개로 업데이트: Data Catalog 태그 템플릿 소유자(roles/datacatalog.tagTemplateOwner)

    이 사전 정의된 역할에는 비공개 태그 템플릿을 공개로 업데이트하는 데 필요한 datacatalog.tagTemplates.update 권한이 포함되어 있습니다.

  • Dataplex 카탈로그에서 메타데이터를 동시에 사용할 수 있도록 공개 태그 템플릿 및 태그를 선택합니다. DataCatalog 마이그레이션 구성 관리자(roles/datacatalog.migrationConfigAdmin)

    이 사전 정의된 역할에는 태그 템플릿 및 태그를 선택하는 데 필요한 datacatalog.migrationConfig.set 권한이 포함되어 있습니다.

  • 기본 카탈로그 UI 환경을 Dataplex 카탈로그로 설정: DataCatalog 마이그레이션 구성 관리자(roles/datacatalog.migrationConfigAdmin)

    이 사전 정의된 역할에는 기본 카탈로그 UI 환경을 설정하는 데 필요한 datacatalog.migrationConfig.set 권한이 포함되어 있습니다.

  • Data Catalog 공개 태그 템플릿을 Dataplex 카탈로그로 전송: Data Catalog 태그 템플릿 소유자(roles/datacatalog.tagTemplateOwner)

    이 사전 정의된 역할에는 공개 태그 템플릿을 전송하는 데 필요한 datacatalog.tagTemplates.update 권한이 포함되어 있습니다.

  • Data Catalog 항목 그룹을 Dataplex 카탈로그로 전송: DataCatalog EntryGroup 소유자(roles/datacatalog.entryGroupOwner)

    이 사전 정의된 역할에는 항목 그룹을 전송하는 데 필요한 datacatalog.entryGroups.update 권한이 포함되어 있습니다.

역할 부여에 대한 상세 설명은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

준비 단계

이 단계에는 Data Catalog 메타데이터 콘텐츠를 Dataplex 카탈로그에서 read-only 모드로 동시에 사용할 수 있도록 하는 작업이 포함됩니다.

다음은 준비 단계에서 기억해야 할 주요 사항입니다.

  • Data Catalog는 맞춤 메타데이터의 공신력 있는 소스로 유지됩니다.
  • Dataplex 검색 페이지는 기본적으로 Data Catalog 검색을 가리킵니다. 여기에는 Data Catalog 메타데이터만 포함되며 Dataplex 카탈로그 메타데이터는 포함되지 않습니다.
  • 준비 단계를 완료할 때까지 Dataplex 카탈로그 검색에 일부 Data Catalog 공개 태그 템플릿 및 태그가 포함되지 않을 수 있습니다.

Data Catalog 커스텀 항목 그룹과 해당 항목은 이미 Dataplex 카탈로그에서 read-only로 동시에 사용할 수 있습니다. 준비 단계에서 공개 태그 템플릿 및 태그를 선택하면 콘텐츠가 Dataplex 카탈로그에서 read-only로 동시에 제공됩니다.

다음 표는 Data Catalog 리소스를 Dataplex 카탈로그에서 동시에 사용할 수 있는 경우 Data Catalog 리소스와 Dataplex 카탈로그 리소스 간의 매핑을 보여줍니다.

Data Catalog와 Dataplex 카탈로그 간의 매핑
Data Catalog 리소스 해당 Dataplex 카탈로그 리소스 설명
태그 템플릿 관점 유형 (전역)

Data Catalog의 태그 템플릿은 리전별 리소스입니다. 태그 템플릿을 선택하면 콘텐츠가 Dataplex 카탈로그에서 전역 관점 유형으로 동시에 제공됩니다. 이는 태그와 태그 템플릿 간의 교차 지역 참조를 유지하기 위함입니다. 전역 관점 유형의 정의가 모든 Google Cloud 리전에 복제됩니다.

Schema와 같은 표준 개념은 Dataplex에서 제공하는 시스템 관점 유형으로 표현됩니다. 자세한 내용은 관점 유형 카테고리를 참고하세요.

태그 선택적 관점 태그 템플릿을 선택하면 태그가 Dataplex 카탈로그에서 선택적 관점으로 동시에 제공됩니다. 자세한 내용은 관점 카테고리를 참조하세요.
항목 그룹 항목 그룹 시스템 항목의 항목 그룹은 Dataplex 카탈로그에서 프로젝트별 리전별로 설정됩니다. Data Catalog에서 만든 항목 그룹은 Dataplex 카탈로그에서 동시에 사용할 수 있습니다.
커스텀 항목 커스텀 항목 Data Catalog의 모든 커스텀 항목은 Dataplex 카탈로그에서 GenericEntryType의 항목으로 동시에 사용할 수 있습니다. 자세한 내용은 항목 유형 카테고리를 참고하세요.
시스템 항목 (Google Cloud) 시스템 항목의 필수 관점 BigQuery 테이블의 Schema와 같은 시스템 항목을 설명하는 메타데이터는 시스템 정의 관점 유형의 필수 관점에 캡처됩니다.

Data Catalog 비공개 태그 템플릿을 공개로 업데이트

Dataplex 카탈로그는 비공개 관점 (비공개 태그의 대응 항목)의 개념을 지원하지 않습니다. 따라서 비공개 태그 템플릿 및 태그는 Dataplex 카탈로그에서 동시에 사용할 수 없습니다. Dataplex 카탈로그에서 비공개 태그 템플릿과 태그를 전파하려면 공개로 업데이트해야 합니다.

계속하기 전에 비공개 태그 템플릿의 구조를 검토하여 구조와 메타데이터가 공개 태그의 공개 상태와 일치하는지 확인하세요.

비공개 태그 템플릿과 태그를 공개로 업데이트하려면 다음 단계를 따르세요.

콘솔

  1. Google Cloud 콘솔에서 Dataplex 카탈로그 페이지로 이동합니다.

    카탈로그로 이동

  2. Dataplex로의 전환 관리를 클릭합니다.

  3. 비공개 태그 템플릿 탭을 클릭합니다.

  4. 태그 템플릿 관리를 클릭합니다.

  5. 태그 템플릿 페이지에서 업데이트할 비공개 태그 템플릿을 클릭합니다.

  6. 템플릿 세부정보 페이지에서 수정을 클릭합니다.

  7. 공개 상태 섹션에서 공개를 선택합니다.

  8. 업데이트를 클릭합니다.

REST

비공개 태그 템플릿을 공개로 업데이트하려면 tagTemplates.patch 메서드를 사용합니다.

Dataplex 카탈로그에서 메타데이터를 동시에 사용할 수 있도록 공개 태그 템플릿 및 태그 선택

선택을 제공하면 Google Cloud 조직 또는 프로젝트 (조직 없음) 전반에서 Data Catalog 공개 태그 템플릿 및 태그의 콘텐츠가 Dataplex 카탈로그에 지속적으로 자동 전파됩니다. Data Catalog 공개 태그 템플릿 및 태그는 각각 공개 관점 유형 및 관점으로 Dataplex 카탈로그에 전파됩니다. 전역 관점 유형의 정의가 모든 Google Cloud 리전에 복제됩니다.

공개 태그 템플릿 및 태그를 선택하려면 다음 단계를 따르세요.

콘솔

  1. Google Cloud 콘솔에서 Dataplex 카탈로그 페이지로 이동합니다.

    카탈로그로 이동

  2. Dataplex로의 전환 관리를 클릭합니다.

  3. 선택 탭을 클릭합니다.

  4. 선택 제공을 클릭합니다.

  5. 확인 대화상자에서 표시된 텍스트를 입력하고 확인을 클릭합니다.

REST

태그 템플릿 및 태그를 선택하려면 setConfig 메서드를 사용합니다.

Google Cloud 조직과 조직이 없는 프로젝트 모두에서 선택 해제를 클릭하여 원래 제공된 선택을 취소할 수 있습니다. 선택을 취소하면 Data Catalog 태그 템플릿 및 태그를 Dataplex 카탈로그에 전파하는 프로세스가 중지됩니다. 선택 프로세스로 생성되었지만 Dataplex 카탈로그로 전송되지 않은 Dataplex 카탈로그 관점 유형 및 관점은 삭제됩니다. 삭제 프로세스는 최대 12시간이 걸릴 수 있습니다.

맞춤 메타데이터에 대한 Dataplex 카탈로그 IAM 권한 구성

Data Catalog의 태그 템플릿 및 항목 그룹을 나타내는 Dataplex 카탈로그 관점 유형 및 맞춤 항목 그룹은 원래의 Data Catalog IAM 권한을 상속하지 않습니다. 이러한 관점 유형 및 맞춤 항목 그룹에 대한 Dataplex IAM 권한을 수동으로 구성해야 합니다.

예를 들어 전파된 관점 유형 (Data Catalog 태그 템플릿을 나타냄)을 사용하여 관점을 만들려면 해당 관점 유형에 필요한 IAM 권한을 구성해야 합니다. 마찬가지로 커스텀 메타데이터를 처리할 때도, 전파된 커스텀 항목 그룹 내에 커스텀 항목을 만들려면 해당 항목 그룹에 필요한 IAM 권한을 구성해야 합니다.

관점 유형 및 맞춤 항목 그룹에 필요한 Dataplex IAM 권한을 구성하려면 다음 단계를 따르세요.

콘솔

  1. Google Cloud 콘솔에서 Dataplex 카탈로그 페이지로 이동합니다.

    카탈로그로 이동

  2. Dataplex로의 전환 관리를 클릭합니다.

  3. Dataplex 권한 탭을 클릭합니다.

  4. 관점 유형에 대한 Dataplex IAM 권한을 구성하려면 관점 유형 및 태그 템플릿을 클릭합니다.

    1. Data Catalog에서 전파된 태그 템플릿의 경우 > 권한을 클릭합니다.

    2. 주 구성원 추가를 클릭합니다.

    3. 새 주 구성원을 추가하고 필요한 역할을 할당합니다.

    4. 저장을 클릭합니다.

  5. 항목 그룹의 Dataplex IAM 권한을 구성하려면 항목 그룹을 클릭합니다.

    1. Data Catalog에서 전파된 항목 그룹의 경우 > 권한을 클릭합니다.

    2. 주 구성원 추가를 클릭합니다.

    3. 새 주 구성원을 추가하고 필요한 역할을 할당합니다.

    4. 저장을 클릭합니다.

REST

관점 유형에 대한 Dataplex IAM 권한을 구성하려면 aspectTypes.setIamPolicy 메서드를 사용하세요.

항목 그룹에 Dataplex IAM 권한을 구성하려면 entryGroups.setIamPolicy 메서드를 사용하세요.

전송 단계

이 단계에서는 Data Catalog 맞춤 메타데이터의 활성 상태 (read-write)를 Dataplex 카탈로그로 이동하는 작업이 포함됩니다.

이전 단계에서 기억해야 할 주요 사항은 다음과 같습니다.

  • Dataplex 검색 페이지는 기본적으로 Dataplex 카탈로그 검색을 가리킵니다.
  • Dataplex 카탈로그에서 Data Catalog 메타데이터와 Dataplex 카탈로그 메타데이터를 모두 검색하고 읽을 수 있습니다.
  • Google Cloud 콘솔에서 메타데이터를 업데이트하면 소스로 리디렉션됩니다. 예를 들어 Data Catalog 태그 템플릿을 업데이트하는 경우 Data Catalog의 태그 템플릿 페이지로 리디렉션됩니다.

기본 카탈로그 UI 환경을 Dataplex 카탈로그로 설정

기본 카탈로그 UI 환경을 Dataplex 카탈로그로 설정하면 다음과 같은 결과가 발생합니다.

  • Google Cloud 콘솔에서 Dataplex 검색 페이지로 이동하면 기본적으로 Dataplex 카탈로그 검색이 표시됩니다. Dataplex 카탈로그 검색은 Dataplex 카탈로그를 대상으로 작동하며 Dataplex 카탈로그에서 생성된 콘텐츠와 Data Catalog에서 가져온 콘텐츠를 비롯한 모든 메타데이터 콘텐츠를 찾습니다.

    Data Catalog 검색은 Dataplex 카탈로그 콘텐츠가 아닌 Data Catalog 콘텐츠만 찾습니다. 따라서 Dataplex 카탈로그 검색을 사용하는 것이 좋습니다.

  • 웹 인터페이스에서는 Dataplex 카탈로그에서 새 리소스를 만드는 것이 좋습니다. 예를 들어 기본값은 태그 템플릿 만들기 대신 관점 유형 만들기이고 항목 그룹 만들기 (Data Catalog) 대신 항목 그룹 만들기 (Dataplex 카탈로그)입니다.

  • 기본 카탈로그 UI 환경을 Dataplex 카탈로그로 설정하는 작업은 일반적으로 단방향 작업입니다. 그러나 Dataplex를 사용하면 예외적인 경우(예: 기본 카탈로그 UI 환경을 Data Catalog로 다시 전환하려는 경우) 변경사항을 되돌릴 수 있습니다. 변경사항을 되돌리면 Dataplex 카탈로그에서 만든 콘텐츠에 Data Catalog 웹 인터페이스에서 액세스할 수 없습니다.

기본 카탈로그 UI 환경을 Dataplex 카탈로그로 설정하려면 다음 단계를 따르세요.

콘솔

  1. Google Cloud 콘솔에서 Dataplex 카탈로그 페이지로 이동합니다.

    카탈로그로 이동

  2. Dataplex로의 전환 관리를 클릭합니다.

  3. Dataplex 검색 탭을 클릭합니다.

  4. 기본 카탈로그 UI 환경을 Dataplex 카탈로그로 설정을 클릭합니다.

REST

기본 카탈로그 UI 환경을 Dataplex 카탈로그로 설정하려면 setConfig 메서드를 사용하세요.

Data Catalog 맞춤 메타데이터를 Dataplex 카탈로그로 전송

선택한 Data Catalog 공개 태그 템플릿 및 커스텀 항목 그룹을 Dataplex 카탈로그로 전송할 수 있습니다. 각 태그 템플릿과 맞춤 항목 그룹을 별도로 전송해야 합니다.

다음은 이전 프로세스를 요약한 것입니다.

  • 효과

    • 리소스의 활성 상태를 Data Catalog에서 Dataplex 카탈로그로 전송합니다. 전송 후에는 리소스를 수정하거나 리소스의 현재 상태에 액세스하려면 Dataplex 카탈로그를 사용해야 합니다.
  • 데이터 콘텐츠 및 흐름 변경사항

    • Data Catalog에서 리소스를 read-only로 표시합니다.
    • Dataplex 카탈로그에서 리소스를 read-write로 표시합니다.
    • 이 리소스의 동시 사용을 중지합니다.
  • 종속 항목

    • 태그 템플릿을 전송하면 이 템플릿을 사용하는 모든 태그도 전송됩니다.
    • 항목 그룹을 전송하면 그룹 내의 모든 항목도 전송됩니다.
    • 항목을 전송해도 태그 및 해당 태그 템플릿의 전송 상태에는 영향을 주지 않습니다.

이전하기 전에 항목의 비즈니스 컨텍스트 (예: overview, contacts)를 수정하려면 Data Catalog API와 Dataplex API를 모두 사용할 수 있습니다. 이전 후에는 Dataplex API만 사용해야 합니다.

다음은 관련 커스텀 항목 그룹 및 태그 템플릿의 전송 상태에 따라 태그가 지정된 커스텀 Data Catalog 항목에 허용되는 작업을 설명합니다.

  • Data Catalog에서 태그 템플릿이 활성 상태이면 이 태그 템플릿을 사용하여 태그를 만들 수 있습니다. 태그 템플릿을 Dataplex 카탈로그로 전송한 후에는 Data Catalog에서 태그를 만드는 데 이를 사용할 수 없습니다.
  • 태그 템플릿을 전송한 후에만 Data Catalog 태그 템플릿에서 전파된 관점 유형을 사용하여 관점을 만들 수 있습니다.

Data Catalog 태그 템플릿과 커스텀 항목 그룹을 Dataplex 카탈로그로 전송하려면 다음 단계를 따르세요.

콘솔

  1. Google Cloud 콘솔에서 Dataplex 카탈로그 페이지로 이동합니다.

    카탈로그로 이동

  2. Dataplex로의 전환 관리를 클릭합니다.

  3. Dataplex로 전송 탭을 클릭합니다.

  4. Data Catalog 태그 템플릿을 Dataplex 카탈로그로 전송하려면 관점 유형 및 태그 템플릿 보기를 클릭합니다.

    1. 전송할 태그 템플릿을 선택합니다.

    2. 이전을 클릭합니다.

    3. 확인 대화상자에서 확인을 클릭합니다.

  5. Data Catalog 커스텀 항목 그룹을 Dataplex 카탈로그로 전송하려면 항목 그룹 보기를 클릭합니다.

    1. 이전할 항목 그룹을 선택합니다.

    2. 이전을 클릭합니다.

    3. 확인 대화상자에서 확인을 클릭합니다.

REST

Data Catalog 태그 템플릿과 커스텀 항목 그룹을 Dataplex 카탈로그로 전송하려면 tagTemplates.patch 메서드를 사용하세요.

전송 단계를 완료하면 Dataplex 카탈로그가 모든 메타데이터의 공신력 있는 소스가 되며 Data Catalog를 사용할 필요가 없습니다.

프로그래매틱 워크로드 업데이트

Dataplex 카탈로그에는 새로운 API, 클라이언트 라이브러리, Terraform 모듈, Google Cloud CLI 명령어가 포함되어 있습니다. 따라서 Data Catalog를 프로그래매틱 방식으로 사용하는 기존 워크로드를 Dataplex 카탈로그로 업데이트해야 합니다. Dataplex용 코드 샘플을 참고하세요.

프로그래매틱 워크로드 업데이트를 태그 템플릿 및 맞춤 항목 그룹과 같은 종속 리소스 전송과 조정해야 합니다. 전송하면 리소스의 활성 (read-write) 상태가 Data Catalog에서 Dataplex 카탈로그로 이동하므로 이 작업이 필요합니다.

다음은 Dataplex 카탈로그와 상호작용하도록 프로그래매틱 워크로드를 업데이트하는 시퀀스 예시로, 종속 리소스 전송과 조정됩니다.

  1. 워크로드에서 eventual consistency를 톨러레이션할 수 있는 경우 워크로드의 read 작업을 Dataplex 카탈로그로 이동합니다.

  2. 태그 지정 write 작업을 실행하는 워크로드를 해당 태그 템플릿 전송과 함께 조정하여 Dataplex 카탈로그로 이동합니다.

  3. 커스텀 처리 write 작업을 실행하는 워크로드를 각 커스텀 항목 그룹의 전송과 조정하여 Dataplex 카탈로그로 이동합니다.

업데이트 워크로드와 상응하는 리소스 전송을 분리해야 하는 경우 리소스 전송 상태에 따라 read-write를 Data Catalog 또는 Dataplex 카탈로그로 라우팅하는 워크로드 내 로직을 구현하는 것이 좋습니다. 따라서 워크로드는 관련 리소스의 전송 상태와 관계없이 작동합니다.

다음 단계