Saat menjalankan pipeline, Vertex AI Pipelines akan memeriksa apakah eksekusi ada di Vertex ML Metadata dengan antarmuka (kunci cache) setiap langkah pipeline.
Antarmuka langkah didefinisikan sebagai kombinasi hal berikut:
Input langkah pipeline. Input ini mencakup nilai parameter input (jika ada) dan ID artefak input (jika ada).
Definisi output langkah pipeline. Definisi output ini mencakup definisi parameter output (nama, jika ada) dan definisi artefak output (nama, jika ada).
Spesifikasi komponen. Spesifikasi ini mencakup gambar, perintah, argumen, dan variabel lingkungan yang digunakan, serta urutan perintah dan argumen.
Selain itu, hanya pipeline dengan nama pipeline yang sama yang akan berbagi cache.
Jika ada eksekusi yang cocok di Vertex ML Metadata, output eksekusi tersebut akan digunakan dan langkah akan dilewati. Dengan demikian, komputasi yang diselesaikan dalam operasi pipeline sebelumnya dapat dilewati, sehingga membantu menghemat biaya.
Anda dapat menonaktifkan caching eksekusi di tingkat tugas dengan menyetel hal berikut:
eval_task.set_caching_options(False)
Anda dapat menonaktifkan caching eksekusi untuk seluruh tugas pipeline. Saat menjalankan
pipeline menggunakan PipelineJob(), Anda dapat menggunakan argumen enable_caching untuk
menentukan bahwa operasi pipeline ini tidak menggunakan caching. Semua langkah dalam
tugas pipeline tidak akan menggunakan caching.
Pelajari lebih lanjut cara membuat proses pipeline.
Gunakan contoh berikut untuk menonaktifkan caching:
pl = PipelineJob(
display_name="My first pipeline",
# Whether or not to enable caching
# True = enable the current run to use caching results from previous runs
# False = disable the current run's use of caching results from previous runs
# None = defer to cache option for each pipeline component in the pipeline definition
enable_caching=False,
# Local or Cloud Storage path to a compiled pipeline definition
template_path="pipeline.yaml",
# Dictionary containing input parameters for your pipeline
parameter_values=parameter_values,
# Cloud Storage path to act as the pipeline root
pipeline_root=pipeline_root,
)
Batasan berikut berlaku untuk fitur tersebut:
- Hasil yang di-cache tidak memiliki time-to-live (TTL), dan dapat digunakan kembali selama entri tidak dihapus dari Vertex ML Metadata. Jika entri dihapus dari Vertex ML Metadata, tugas akan dijalankan kembali untuk membuat ulang hasilnya.