Melacak silsilah artefak pipeline

Setiap proses pipeline yang dibuat menggunakan Vertex AI Pipelines memiliki beberapa artefak dan parameter, seperti model, set data, template pipeline, dan komponen. Silsilah artefak pipeline mencakup faktor-faktor yang berkontribusi pada pembuatannya, serta artefak dan {i>metadata<i} yang berasal dari artefak ini. Misalnya, silsilah model dapat mencakup hal berikut:

  • Data pelatihan, pengujian, dan evaluasi yang digunakan untuk membuat model.

  • Hyperparameter yang digunakan selama pelatihan model.

  • Metadata yang direkam dari proses pelatihan dan evaluasi, seperti akurasi model.

  • Artefak yang diturunkan dari model ini, seperti hasil prediksi batch.

Anda dapat menggunakan metadata ini untuk membantu menjawab pertanyaan seperti berikut:

  • Mengapa operasi pipeline tertentu menghasilkan model yang sangat akurat?

  • Operasi pipeline mana yang menghasilkan model yang paling akurat, dan hyperparameter apa yang digunakan untuk melatih model tersebut?

  • Bergantung pada langkah-langkah dalam pipeline, Anda mungkin dapat menjawab pertanyaan tentang tata kelola. Misalnya, Anda bisa menggunakan {i>metadata <i} untuk menentukan versi produksi dari model Anda pada waktu tertentu.

Untuk melihat dan menganalisis silsilah artefak pipeline, Anda dapat menggunakan Metadata Vertex ML atau Dataplex.

Tabel berikut menguraikan perbedaan antara Metadata Vertex ML dan Dataplex:

Fitur Vertex ML Metadata Dataplex
Jenis metadata pipeline yang direkam Semua artefak input dan output yang dihasilkan oleh operasi pipeline. Artefak input dan output yang dapat dipetakan ke nama yang sepenuhnya memenuhi syarat (FQN) yang didukung oleh Dataplex, umumnya menggunakan Komponen Pipeline Google Cloud.
Geografi Pembacaan region tunggal. Pembacaan global, yaitu, di beberapa region.
Project Pembacaan satu project. Pembacaan seluruh organisasi di beberapa project.
Layanan terintegrasi Terintegrasi dengan Pipeline Vertex AI, Eksperimen Vertex AI, Vertex AI Model Registry, dan Set data. Terintegrasi dengan beberapa produk Google Cloud, seperti Vertex AI, BigQuery, Cloud Composer, dan Dataproc.
Ikut serta? Tidak, selalu aktif. Ikut serta per project dengan mengaktifkan Data Lineage API.

Memetakan artefak Metadata Vertex ML ke Dataplex

Untuk memetakan artefak Vertex ML Metadata ke FQN di Dataplex, Anda harus melakukan hal berikut:

  • Menggunakan Komponen Pipeline Google Cloud saat membuat model Vertex AI dan dan mengelola set data terkelola.

  • Gunakan judul skema kustom (google.VertexDataset atau google.VertexModel) saat menentukan model atau nama resource set data terkelola di metadata seperti yang digambarkan dalam contoh berikut:

{
  "name": "projects/example-project/locations/us-central1/metadataStores/default/artifacts/example-artifact",
  "displayName": "My dataset",
  "uri": "https://us-central1-aiplatform.googleapis.com/v1/projects/example-project/locations/us-central1/datasets/example-dataset",
   ...
  "schemaTitle": "google.VertexDataset",
  "schemaVersion": "0.0.1",
  "metadata": {
    "resourceName": "projects/example-project/locations/us-central1/datasets/example-dataset"
  }
}

Menganalisis silsilah artefak pipeline menggunakan Metadata Vertex ML

Saat Anda menjalankan pipeline menggunakan Vertex AI Pipelines, artefak dan parameter dari pipeline yang dijalankan akan disimpan menggunakan Vertex ML Metadata. Vertex ML Metadata memudahkan analisis silsilah artefak pipeline Anda, dengan memudahkan Anda melacak metadata pipeline Anda.

Jika Anda baru mengenal Vertex ML Metadata, baca pengantar Metadata Vertex ML.

Ikuti petunjuk ini guna melihat grafik silsilah untuk pipeline menggunakan Vertex ML Metadata:

  1. Di Konsol Google Cloud, di bagian Vertex AI, buka halaman Metadata.

    Buka Metadata

    Halaman Metadata mencantumkan artefak yang telah dibuat di penyimpanan metadata default.

  2. Di menu drop-down Region, pilih region tempat proses Anda dibuat.

  3. Klik Display name artefak untuk melihat grafik silsilahnya.

    Grafik statis yang menunjukkan artefak dan eksekusi yang merupakan bagian dari grafik silsilah ini akan muncul.

  4. Klik artefak atau eksekusi untuk mempelajarinya lebih lanjut.

Menganalisis silsilah artefak pipeline menggunakan Dataplex

Dataplex Data Catalog menemukan {i>metadata<i} dari Resource Google Cloud, yang mencakup Vertex AI Pipelines artefak seperti model Vertex AI, set data terkelola, dan Resource Google Cloud dapat ditemukan di Data Catalog. Anda dapat menemukan artefak ini menggunakan kemampuan pencarian {i>metadata<i} Data Catalog dan lihat grafik silsilahnya.

Untuk mengetahui informasi selengkapnya tentang kemampuan penelusuran metadata Data Catalog, lihat artikel Menelusuri dan melihat aset data dengan Data Catalog.

Perhatikan bahwa Data Catalog mungkin tidak tersedia di semua region dengan Vertex AI Pipelines didukung. Jika Data Catalog adalah tidak didukung di wilayah Anda, gunakan Metadata Vertex ML. Lihat daftar region yang didukung untuk Data Catalog.

Ikuti petunjuk ini guna melihat grafik silsilah untuk artefak pipeline di Dataplex:

  1. Untuk meluncurkan kueri penelusuran Dataplex di Konsol Google Cloud, buka halaman Dataplex Search.

    Buka Dataplex Search

  2. Gunakan filter untuk menelusuri artefak. Misalnya, Anda dapat menggunakan Filter Jenis data untuk menentukan jenis artefak, seperti model, set data, atau BigQuery. Untuk mengetahui informasi selengkapnya tentang Data Catalog telusuri, lihat Menelusuri aset data

    Anda juga dapat menentukan kueri di kolom penelusuran.

  3. Untuk melihat silsilah artefak, klik nama artefak, lalu klik tab Lineage.

    Pada grafik silsilah, proses Vertex AI didahului oleh Ikon silsilah Vertex AI. Hal ini termasuk artefak pipeline, komponen pipeline, dan template pipeline.

    • Untuk melihat detail proses, klik proses di grafik silsilah data.

    • Untuk proses yang didasarkan pada tugas pipeline dari proses pipeline, Anda dapat melakukan hal berikut:

      • Lihat pipeline yang dijalankan di Vertex AI dengan mengklik Open in Vertex AI di tab Details. Untuk melihat detail runtime dari suatu proses pipeline, seperti status, stempel waktu, dan atribut, klik Lainnya. Untuk melihat pipeline yang berjalan di Vertex AI, klik Open in Vertex AI.

    • Untuk proses berdasarkan template pipeline, Anda dapat melakukan hal berikut:

      • Lihat detail template di Vertex AI dengan mengklik Open in Vertex AI di tab Details.

      • Lihat daftar tugas pipeline yang dibuat dalam operasi pipeline di Tab Runs. Untuk melihat detail template pipeline di Vertex AI, klik More, lalu klik Buka di Vertex AI.

Langkah selanjutnya