Bermigrasi dari Kubeflow Pipelines ke Vertex AI Pipelines

Bagi developer yang berpengalaman membangun pipeline Kubeflow, penting halnya untuk memahami perbedaan antara Vertex AI Pipelines dengan Kubeflow Pipelines.

Penerusan data (input/output)

• Penerusan data melalui input dan output berbeda, mulai dari Kubeflow Pipelines SDK v1 hingga Kubeflow Pipelines SDK v2. Kubeflow Pipelines SDK v2 memiliki pemisahan parameter dan artefak, sehingga tidak dapat diteruskan ke satu sama lain. Untuk mendapatkan informasi lebih mendetail, lihat artikel Kubeflow Pipelines Pipelines Basics dan Kubeflow Pipelines Data Types.

Penggunaan versi bahasa khusus domain (DSL)

• Vertex AI Pipelines dapat menjalankan pipeline yang dibangun menggunakan TFX v0.30.0 atau yang lebih baru, atau bahasa khusus domain (DSL) Kubeflow Pipelines SDK v2.

  DSL Kubeflow Pipelines SDK v2 tersedia di Kubeflow Pipelines SDK v1.6 atau yang lebih baru.

  Kubeflow Pipeline dapat menjalankan pipeline yang dibangun menggunakan Kubeflow Pipelines SDK. Kubeflow Pipelines v1.6 atau yang lebih baru juga dapat menjalankan pipeline yang dibangun menggunakan DSL Kubeflow Pipelines SDK v2.

Penyimpanan

• Kubeflow Pipelines dan Vertex AI Pipelines menangani penyimpanan dengan cara berbeda. Di Kubeflow Pipeline, Anda dapat menggunakan resource Kubernetes seperti klaim volume persisten. Di Vertex AI Pipelines, data Anda disimpan di Cloud Storage dan dipasang ke dalam komponen menggunakan Cloud Storage FUSE.

  Di Vertex AI Pipelines, Anda dapat menggunakan layanan Google Cloud untuk menyediakan resource. Misalnya, Anda dapat menggunakan Cloud Storage FUSE untuk mengakses bucket Cloud Storage sebagai volume yang terpasang pada langkah pipeline. Jika Cloud Storage URI Anda adalah gs://example-bucket/example-pipeline, maka container komponen pipeline Anda dapat menggunakan Cloud Storage FUSE untuk mengakses URI tersebut dengan jalur berikut: /gcs/example-bucket/example-pipeline.

  Penting: Sebaiknya hindari melakukan hardcode jalur ke resource eksternal ke dalam pipeline Anda. Sebagai gantinya, teruskan jalur ke resource eksternal ke dalam pipeline Anda sebagai parameter. Hal ini memudahkan Anda untuk menjalankan pipeline di lingkungan yang berbeda, dan mengubah lokasi resource yang digunakan dalam operasi pipeline.

• Saat Anda menjalankan pipeline menggunakan Vertex AI Pipelines, root pipeline harus sudah ditentukan dalam anotasi @pipeline atau saat Anda membuat operasi pipeline.

  Di Kubeflow Pipelines, cara menentukan root pipeline bersifat opsional. Artefak yang dijalankan oleh pipeline disimpan menggunakan MinIO secara default.

Fitur yang tidak didukung di Vertex AI Pipelines

• Fitur Kubeflow Pipelines berikut saat ini tidak didukung di Vertex AI Pipelines.

  • Masa Berlaku Cache: Di Kubeflow Pipelines, Anda dapat menentukan bahwa eksekusi komponen yang di-cache akan berakhir setelah jangka waktu tertentu menggunakan DSL Kubeflow Pipelines SDK v1.

    Saat ini, Anda tidak dapat menentukan bahwa eksekusi komponen akan berakhir setelah jangka waktu yang ditentukan menggunakan DSL Kubeflow Pipelines SDK v2.

    Di Vertex AI Pipelines, saat menjalankan pipeline menggunakan create_run_from_job_spec, Anda dapat menggunakan argumen enable_caching untuk menentukan bahwa operasi pipeline ini tidak menggunakan caching.

  • Pengulangan: Di Pipeline Kubeflow, Anda dapat menentukan komponen pipeline yang dipanggil secara rekursif.

    Saat ini, Vertex AI Pipelines tidak mendukung komponen pipeline yang dipanggil secara rekursif.