Menambahkan operasi pipeline ke eksperimen

Anda dapat menggunakan Konsol Google Cloud atau Vertex AI SDK untuk Python guna menambahkan operasi pipeline ke eksperimen atau operasi eksperimen.

Konsol Google Cloud

Gunakan petunjuk berikut untuk menjalankan pipeline ML dan mengaitkan pipeline tersebut dengan suatu eksperimen dan, secara opsional, operasi eksperimen menggunakan Konsol Google Cloud. Operasi eksperimen hanya dapat dibuat melalui Vertex AI SDK untuk Python (lihat Membuat dan mengelola operasi eksperimen).
  1. Di Konsol Google Cloud, di bagian Vertex AI, buka halaman Pipelines.
    Buka Pipeline
  2. Di menu drop-down Region, pilih region tempat Anda ingin membuat pipeline yang akan dijalankan.
  3. Klik Create run untuk membuka panel Create pipeline run.
  4. Tentukan detail Run berikut.
    • Di kolom File, klik Choose untuk membuka pemilih file. Buka file JSON pipeline yang dikompilasi yang ingin Anda jalankan, pilih pipeline, lalu klik Open.
    • Pipeline name secara default ditetapkan ke nama yang Anda tentukan dalam definisi pipeline. Atau, tentukan Pipeline name yang berbeda.
    • Tentukan Run name untuk mengidentifikasi operasi pipeline ini secara unik.
  5. Untuk menentukan bahwa operasi pipeline ini menggunakan akun layanan kustom, kunci enkripsi yang dikelola pelanggan, atau jaringan VPC yang di-peering, klik Advanced options (Opsional).
    Gunakan petunjuk berikut untuk mengonfigurasi opsi lanjutan seperti akun layanan khusus.
    • Untuk menentukan akun layanan, pilih akun layanan dari menu drop-down Service account.
      Jika Anda tidak menentukan akun layanan, Vertex AI Pipelines akan menjalankan pipeline Anda menggunakan akun layanan Compute Engine default.
      Pelajari lebih lanjut cara mengonfigurasi akun layanan untuk digunakan dengan Vertex AI Pipelines.
    • Untuk menggunakan kunci enkripsi yang dikelola pelanggan (CMEK), pilih Use a customer-managed encryption key. Menu drop-down Select a customer-managed key akan muncul. Di menu drop-down Select a customer-managed key, pilih kunci yang ingin Anda gunakan.
    • Untuk menggunakan jaringan VPC yang di-peering dalam operasi pipeline ini, masukkan nama jaringan VPC di kotak Peered VPC network.
  6. Klik Continue.
    Lokasi Cloud Storage dan panel Pipeline parameters akan muncul.
    • Wajib: Masukkan direktori output Cloud Storage, misalnya: gs://location_of_directory.
    • Opsional: Tentukan parameter yang ingin Anda gunakan untuk operasi pipeline ini.
  7. Klik Submit untuk membuat operasi pipeline.
  8. Setelah dikirimkan, Pipeline akan muncul di tabel Konsol Google Cloud Pipeline.
  9. Di baris yang terkait dengan pipeline Anda, klik  View more > Add to Experiment
    • Pilih Eksperimen yang ada atau buat Eksperimen baru.
    • Opsional: Jika eksperimen yang dijalankan terkait dengan Eksperimen, eksperimen tersebut muncul di menu drop-down. Pilih operasi Eksperimen yang ada.
  10. Klik Save.

Membandingkan operasi pipeline dengan eksperimen yang dijalankan menggunakan Konsol Google Cloud

  1. Di Konsol Google Cloud, buka halaman Experiments.
    Buka Eksperimen.
    Daftar eksperimen akan muncul di halaman Experiments.
  2. Pilih eksperimen yang ingin Anda tambahkan operasi pipeline.
    Daftar operasi akan muncul.
  3. Pilih operasi yang ingin dibandingkan, lalu klik Compare
  4. Klik tombol Add run. Daftar operasi akan muncul
  5. Pilih operasi pipeline yang ingin Anda tambahkan. Operasi ditambahkan.

Vertex AI SDK untuk Python {:#sdk-add-pipeline-run}

Contoh berikut menggunakan PipelineJob API.

Mengaitkan operasi pipeline dengan eksperimen

Contoh ini menunjukkan cara mengaitkan operasi pipeline dengan eksperimen. Jika ingin membandingkan operasi Pipeline, Anda harus mengaitkan operasi pipeline ke eksperimen. Lihat init di dokumentasi referensi Vertex AI SDK untuk Python.

Python

from typing import Any, Dict, Optional

from google.cloud import aiplatform


def log_pipeline_job_to_experiment_sample(
    experiment_name: str,
    pipeline_job_display_name: str,
    template_path: str,
    pipeline_root: str,
    project: str,
    location: str,
    parameter_values: Optional[Dict[str, Any]] = None,
):
    aiplatform.init(project=project, location=location)

    pipeline_job = aiplatform.PipelineJob(
        display_name=pipeline_job_display_name,
        template_path=template_path,
        pipeline_root=pipeline_root,
        parameter_values=parameter_values,
    )

    pipeline_job.submit(experiment=experiment_name)
  • experiment_name: Berikan nama untuk eksperimen Anda. Anda dapat menemukan daftar eksperimen di Konsol Google Cloud dengan memilih Experiments di navigasi bagian.
  • pipeline_job_display_name: Nama yang ditentukan pengguna untuk Pipeline ini.
  • template_path: Jalur file PipelineJob atau PipelineSpec JSON atau YAML. Ini dapat berupa jalur lokal atau Cloud Storage URI. Contoh: "gs://project.name"
  • pipeline_root: Root output pipeline. Setelan defaultnya adalah bucket staging.
  • parameter_values: Pemetaan dari nama parameter runtime ke nilainya yang mengontrol operasi pipeline.
  • project: Project ID Anda. Anda dapat menemukan ID ini di halaman sambutan Konsol Google Cloud.
  • location: Lihat Daftar lokasi yang tersedia.

Mengaitkan operasi pipeline dengan operasi eksperimen

Contoh yang disediakan mencakup mengaitkan operasi pipeline dengan operasi eksperimen.

Kasus penggunaan:

  • Saat melakukan pelatihan model lokal, lalu menjalankan evaluasi pada model tersebut (evaluasi dilakukan dengan menggunakan pipeline). Dalam hal ini, tulis metrik eval dari operasi pipeline ke ExperimentRun
  • Saat menjalankan kembali pipeline yang sama beberapa kali. Misalnya, jika Anda mengubah parameter input, atau jika satu komponen gagal dan Anda perlu menjalankannya lagi.

Saat mengaitkan operasi pipeline dengan operasi eksperimen, parameter dan metrik tidak akan muncul secara otomatis dan perlu dicatat ke dalam log secara manual menggunakan API logging.

Catatan: Jika parameter resume opsional ditentukan sebagai TRUE, operasi yang dimulai sebelumnya akan dilanjutkan. Jika tidak ditentukan, resume ditetapkan secara default ke FALSE dan operasi baru akan dibuat.

Lihat init, start_run, dan log di dokumentasi referensi Vertex AI SDK untuk Python.

Python

from google.cloud import aiplatform


def log_pipeline_job_sample(
    experiment_name: str,
    run_name: str,
    pipeline_job: aiplatform.PipelineJob,
    project: str,
    location: str,
):
    aiplatform.init(experiment=experiment_name, project=project, location=location)

    aiplatform.start_run(run=run_name, resume=True)

    aiplatform.log(pipeline_job=pipeline_job)
  • experiment_name: Berikan nama untuk eksperimen Anda. Anda dapat menemukan daftar eksperimen di Konsol Google Cloud dengan memilih Experiments di navigasi bagian.
  • run_name: Tentukan nama operasi.
  • pipeline_job: PipelineJob Vertex AI
  • project: Project ID Anda. Anda dapat menemukannya di halaman sambutan Konsol Google Cloud.
  • location: Lihat Daftar lokasi yang tersedia

Lihat daftar operasi pipeline di Konsol Google Cloud

  1. Di Konsol Google Cloud, di bagian Vertex AI, buka halaman Pipelines.

    Buka halaman Pipelines

  2. Periksa untuk memastikan Anda berada dalam project yang benar.

  3. Daftar eksperimen dan operasi yang terkait dengan operasi pipeline project Anda akan muncul di kolom Experiment dan Experiment run.

Vertex AIList eksperimen

Codelab

Langkah berikutnya

Contoh notebook yang relevan