Menggunakan garis keturunan data dengan sistem Google Cloud

Lineage data menampilkan hubungan antara resource project Anda dan proses yang membuatnya. Anda dapat melihat informasi silsilah data dalam bentuk visualisasi grafik atau tampilan daftar di konsol Google Cloud, atau mengambilnya dari Data Lineage API dalam bentuk data JSON.

Lineage diambil di seluruh project. Saat melihat garis keturunan yang dihasilkan dari beberapa project, Anda dapat melihat informasi garis keturunan gabungan di project yang relevan.

Perhatian: Lineage data diaktifkan berdasarkan per project, bukan berdasarkan per layanan. Setelah Anda mengaktifkan Data Lineage API, informasi silsilah akan otomatis dilaporkan untuk beberapa layanan Google Cloud dalam project, bergantung pada kontrol silsilah tingkat produknya. Untuk mengetahui detail selengkapnya, lihat Pertimbangan silsilah data.

Peran dan izin

Untuk melihat informasi silsilah, minta administrator untuk memberi Anda peran pelihat seperti yang dijelaskan dalam Peran silsilah data bawaan. Anda harus memiliki akses di project tempat Anda melihat silsilah, dan project tempat silsilah dicatat.

Data Catalog melacak informasi silsilah secara otomatis saat Anda mengaktifkan Data Lineage API. Anda tidak memerlukan peran administrator atau editor untuk mengambil silsilah untuk aset data Anda.

Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses. Anda dapat menetapkan peran di tingkat folder atau organisasi yang lebih tinggi (lihat Memberikan atau mencabut satu peran).

Mengaktifkan silsilah data

Aktifkan silsilah data untuk mulai melacak informasi silsilah secara otomatis untuk sistem yang didukung. Anda harus mengaktifkan Data Lineage API di project tempat Anda melihat lineage, dan project tempat lineage dicatat. Untuk mengetahui informasi selengkapnya, lihat Jenis project.

1. Untuk mengambil informasi garis keturunan, lakukan hal berikut:

   1. Di konsol Google Cloud, pada halaman Project selector, pilih project tempat Anda ingin mencatat silsilah.

      Buka Pemilih project

   2. Aktifkan Data Lineage API.

      Mengaktifkan Data Lineage API

   3. Ulangi langkah sebelumnya untuk setiap project tempat Anda ingin mencatat garis keturunan.

2. Di project tempat Anda melihat silsilah, aktifkan Data Lineage API dan Data Catalog API.

   Aktifkan API

Melihat silsilah di UI Dataplex

Anda dapat melihat informasi silsilah data di UI Dataplex dalam bentuk grafik atau daftar.

Grafik silsilah mewakili informasi yang dikumpulkan oleh Data Lineage API untuk entri tertentu.

Gambar 1. Contoh grafik visualisasi silsilah di UI Dataplex.

Catatan: Mungkin perlu waktu beberapa saat agar garis keturunan data menampilkan grafik. Jika Anda tidak langsung melihat grafik garis keturunan, tunggu beberapa menit.

Tampilan daftar garis keturunan (Pratinjau) menampilkan informasi garis keturunan mendetail untuk entitas dalam satu tabel yang menyertakan informasi garis keturunan untuk entitas dengan banyak koneksi.

Untuk melihat garis keturunan, ikuti petunjuk berikut:

1. Buka halaman penelusuran Dataplex dan temukan aset yang ingin Anda lihat informasi garis keturunannya.

   Buka halaman penelusuran Dataplex

   Untuk informasi selengkapnya, lihat Cara menelusuri aset data.

2. Di halaman detail entri, pilih tab Lini Masa.

3. Pilih tombol proses atau sumber data untuk menampilkan panel detail.

4. Untuk melihat informasi garis keturunan upstream atau downstream untuk resource, klik Luaskan.

5. Untuk melihat silsilah dalam tampilan daftar, bukan tampilan grafik, klik Daftar.

Melihat silsilah di UI BigQuery

Anda dapat melihat informasi silsilah data di UI BigQuery dalam bentuk grafik atau daftar (Pratinjau).

Untuk melihat garis keturunan, ikuti petunjuk berikut:

1. Di Konsol Google Cloud, buka halaman BigQuery.

   Buka halaman BigQuery

2. Buka tabel yang ingin Anda lihat garis keturunan datanya.

3. Klik tab Silsilah.

4. Pilih tombol proses atau sumber data untuk menampilkan panel detail.

5. Untuk melihat informasi garis keturunan upstream atau downstream untuk resource, klik Luaskan.

6. Untuk melihat silsilah dalam tampilan daftar, bukan tampilan grafik, klik Daftar.

Melihat garis keturunan di UI Vertex AI

Sistem seperti Vertex AI Pipelines menghasilkan data silsilah untuk model dan set data Vertex AI. Anda dapat melihat informasi silsilah data di UI Vertex AI dalam bentuk grafik atau daftar (Pratinjau).

Catatan: Untuk melihat silsilah operasi Vertex AI, seperti data pelatihan, pengujian, dan evaluasi yang digunakan atau hyperparameter yang diterapkan, lihat Melacak silsilah artefak pipeline.

Melihat garis keturunan untuk set data terkelola di Vertex AI

Untuk melihat silsilah set data, ikuti petunjuk berikut:

1. Di konsol Google Cloud, buka halaman Datasets.

   Buka halaman Set Data

2. Klik set data yang ingin Anda lihat silsilahnya.

3. Klik tab Silsilah.

4. Pilih tombol proses atau sumber data untuk menampilkan panel detail.

5. Untuk melihat informasi garis keturunan upstream atau downstream untuk resource, klik Luaskan.

6. Untuk melihat silsilah dalam tampilan daftar, bukan tampilan grafik, klik Daftar.

Catatan: Pada grafik silsilah, proses Vertex AI didahului oleh . Proses ini mencakup komponen dan template Vertex AI Pipelines, serta artefak, set data, dan model Vertex ML Metadata. Jika proses tersebut dikatalogkan di Data Catalog dengan nama domain yang sepenuhnya memenuhi syarat (FQN), Anda dapat mengklik entri di grafik silsilah untuk melihat detailnya. Atau, untuk melihat detail grafik silsilah di Vertex AI, klik Open in Vertex AI di panel Details.

Melihat garis keturunan untuk model di Vertex AI

Untuk melihat silsilah model, ikuti petunjuk berikut:

1. Di Konsol Google Cloud, buka halaman Model Registry.

   Buka halaman Model Registry

2. Klik model yang ingin Anda lihat silsilahnya.

3. Klik tab Silsilah.

4. Pilih tombol proses atau sumber data untuk menampilkan panel detail.

5. Untuk melihat informasi garis keturunan upstream atau downstream untuk resource, klik Luaskan.

6. Untuk melihat silsilah dalam tampilan daftar, bukan tampilan grafik, klik Daftar.

Catatan: Pada grafik silsilah, proses Vertex AI didahului oleh . Proses ini mencakup komponen dan template Vertex AI Pipelines, serta artefak, set data, dan model Vertex ML Metadata. Jika proses tersebut dikatalogkan di Data Catalog dengan nama domain yang sepenuhnya memenuhi syarat (FQN), Anda dapat mengklik entri di grafik silsilah untuk melihat detailnya. Atau, untuk melihat detail grafik silsilah di Vertex AI, klik Open in Vertex AI di panel Details.

Langkah selanjutnya

• Melacak silsilah data untuk tugas kueri dan penyalinan tabel BigQuery.

• Pelajari Model informasi silsilah data.