Melihat silsilah di Dataplex

Halaman ini menjelaskan cara melihat silsilah data yang dihasilkan oleh pipeline Cloud Data Fusion Anda dengan pergerakan data lainnya di Google Cloud, untuk tujuan penemuan dan tata kelola. Anda dapat melihat grafik silsilah untuk sumber data yang didukung di halaman Dataplex di konsol, atau menggunakan Data Lineage API untuk mengambil data lengkap data lineage.

Plugin yang mendukung urutan data Dataplex

Cloud Data Fusion dan Dataplex mendukung silsilah tingkat aset untuk plugin berikut:

  • Amazon S3
  • BigQuery
  • Penampung BigQuery Multi Table (versi 6.9.1 dan yang lebih baru)
  • Spanner
  • Cloud Storage
  • Cloud SQL untuk MySQL
  • Cloud SQL untuk PostgreSQL
  • Dataplex
  • FTP
  • Database Umum
  • HTTP
  • MSSQL/SQL Server
  • Beberapa sumber Tabel Database (versi 6.9.1 dan yang lebih baru)
  • MySQL
  • Oracle
  • PostgreSQL
  • SAP OData
  • SAP ODP
  • Tabel SAP

Untuk mengetahui informasi selengkapnya, lihat Plugin Cloud Data Fusion.

Sebelum memulai

Untuk mengaktifkan tampilan grafik silsilah Cloud Data Fusion di halaman Dataplex di konsol, lakukan hal berikut:

  1. Buat pipeline data yang hanya menggunakan plugin yang didukung.

  2. Aktifkan Data Lineage API di project yang berisi instance Cloud Data Fusion Anda.

  3. Berikan peran Data Lineage Events Producer (roles/datalineage.producer) ke akun layanan yang dikelola Cloud Data Fusion, Cloud Data Fusion API Service Agent. Prosesnya bervariasi jika instance Anda berjalan di Cloud Data Fusion versi sebelumnya dan RBAC diaktifkan.

    6.10+ atau tidak ada RBAC

    Jika instance Cloud Data Fusion Anda menggunakan versi 6.10.0 atau yang lebih baru, atau instance Anda menggunakan versi sebelumnya dan RBAC tidak diaktifkan, ikuti langkah-langkah berikut:

    1. Di konsol Google Cloud , buka halaman IAM.

      Buka IAM

    2. Centang kotak Include Google-provided role grants.

    3. Pilih akun layanan Cloud Data Fusion API Service Agent, lalu klik Edit.

    4. Klik Tambahkan peran lain, lalu pilih peran Produser Peristiwa Lineage Data.

    5. Klik Simpan.

    <6.10 with RBAC

    Jika instance Cloud Data Fusion Anda menggunakan versi sebelum 6.10.0 dan RBAC diaktifkan, akun layanan tidak akan muncul dalam daftar akun utama di halaman IAM. Anda harus memasukkan nama akun layanan secara manual.

    Untuk memberikan peran yang diperlukan, ikuti langkah-langkah berikut:

    1. Di konsol Google Cloud , buka halaman IAM.

      Buka IAM

    2. Klik Grant access.

    3. Di kolom New principals, masukkan akun layanan Agen Layanan Cloud Data Fusion API. Gunakan format berikut: datafusion-system@TENANT_PROJECT_ID.iam.gserviceaccount.com.

      Ganti TENANT_PROJECT_ID dengan tenant ID untuk instance Anda. Untuk melihat ID project tenant, buka halaman Instance, lalu klik nama instance untuk detail instance.

      Buka Instance

    4. Pilih peran Produser Peristiwa Data Lineage.

    5. Klik Simpan.

Mengaktifkan silsilah data Dataplex di Cloud Data Fusion

Untuk instance baru di Cloud Data Fusion, silsilah data Dataplex dinonaktifkan secara default. Jika Anda membuat instance sebelum 27 Januari 2024 dengan versi 6.8.0 atau yang lebih baru, instance akan diaktifkan secara default setelah menyelesaikan langkah-langkah di Sebelum memulai.

Mengaktifkan silsilah data Dataplex saat Anda membuat instance

Konsol

Untuk mengaktifkan garis keturunan data Dataplex saat Anda membuat instance, ikuti langkah-langkah berikut:

  1. Buka halaman Instance Cloud Data Fusion, lalu klik Create instance.

    Membuat instance

  2. Saat Anda mengonfigurasi instance, luaskan bagian Advanced options dan klik Enable integration with Dataplex data lineage. Untuk mengetahui informasi selengkapnya tentang cara membuat instance, lihat Membuat instance publik.

REST API

Untuk mengaktifkan silsilah data Dataplex saat Anda membuat instance, tetapkan properti dataplex_data_lineage_integration_enabled opsional ke true:

echo '{ "description": "CDAPinstance", "dataplex_data_lineage_integration_enabled": "true"}' | curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  --data @- \
  "https://datafusion.googleapis.com/v1/projects/PROJECT/locations/LOCATION/instances?instanceId=INSTANCE_NAME"

Untuk menonaktifkannya, tetapkan properti ke salah atau hapus properti, karena lineage dinonaktifkan secara default saat Anda membuat instance baru.

Mengaktifkan atau menonaktifkan silsilah data Dataplex di instance yang ada

Konsol

Untuk mengaktifkan atau menonaktifkan garis keturunan data Dataplex di instance yang ada di Cloud Data Fusion, ikuti langkah-langkah berikut:

  1. Lihat detail instance:

    1. Di konsol Google Cloud , buka halaman Cloud Data Fusion.

    2. Klik Instance, lalu klik nama instance untuk membuka halaman Instance details.

      Buka Instance

  2. Di kolom Integrasi silsilah data Dataplex, klik Edit.
  3. Aktifkan atau nonaktifkan urutan data Dataplex, lalu klik Simpan.

REST API

Untuk mengaktifkan silsilah data Dataplex di instance yang ada di Cloud Data Fusion, tetapkan properti dataplex_data_lineage_integration_enabled ke true dan sertakan nilai parameter updateMask:

echo '{ "description": "CDAPinstance", "dataplex_data_lineage_integration_enabled": "true"}' | curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  --data @- \
  "https://datafusion.googleapis.com/v1/projects/PROJECT/locations/LOCATION/instances?instanceId=INSTANCE_NAME?updateMask=dataplex_data_lineage_integration_enabled"

Untuk menonaktifkan silsilah data Dataplex di instance yang ada di Cloud Data Fusion, tetapkan properti dataplex_data_lineage_integration_enabled ke false dan sertakan nilai parameter updateMask:

echo '{ "description": "CDAPinstance", "dataplex_data_lineage_integration_enabled": "false"}' | curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  --data @- \
  "https://datafusion.googleapis.com/v1/projects/PROJECT/locations/LOCATION/instances?instanceId=INSTANCE_NAME?updateMask=dataplex_data_lineage_integration_enabled"

Melihat grafik silsilah data

Untuk melihat grafik silsilah untuk entity di semua layanan Google Cloud , lakukan hal berikut:

  1. Buka instance Anda di Cloud Data Fusion dan jalankan pipeline data yang menggunakan plugin yang didukung.

  2. Lihat grafik silsilah di halaman Dataplex di konsol dan temukan aset yang informasi silsilahnya ingin Anda lihat.

Batasan

Melihat garis keturunan di Dataplex memiliki batasan berikut:

Langkah selanjutnya