Meminta resource mesin Google Cloud dengan Vertex AI Pipelines

Anda dapat menjalankan komponen Python di Vertex AI Pipelines menggunakan resource mesin khusus Google Cloud yang ditawarkan oleh pelatihan kustom Vertex AI.

Anda dapat menggunakan metode create_custom_training_job_from_component dari Komponen Pipeline Google Cloud untuk mengubah komponen Python menjadi tugas pelatihan kustom Vertex AI. Pelajari cara membuat tugas kustom.

Membuat tugas pelatihan kustom dari komponen menggunakan Vertex AI Pipelines

Contoh berikut menunjukkan cara menggunakan metode create_custom_training_job_from_component untuk mengubah komponen Python menjadi tugas pelatihan kustom dengan resource mesin Google Cloud yang ditentukan pengguna, lalu menjalankan pipeline yang dikompilasi di Vertex AI Pipelines:


import kfp
from kfp import dsl
from google_cloud_pipeline_components.v1.custom_job import create_custom_training_job_from_component

# Create a Python component
@dsl.component
def my_python_component():
  import time
  time.sleep(1)

# Convert the above component into a custom training job
custom_training_job = create_custom_training_job_from_component(
    my_python_component,
    display_name = 'DISPLAY_NAME',
    machine_type = 'MACHINE_TYPE',
    accelerator_type='ACCELERATOR_TYPE',
    accelerator_count='ACCELERATOR_COUNT',
    boot_disk_type: 'BOOT_DISK_TYPE',
    boot_disk_size_gb: 'BOOT_DISK_SIZE',
    network: 'NETWORK',
    reserved_ip_ranges: 'RESERVED_IP_RANGES',
    nfs_mounts: 'NFS_MOUNTS'
    persistent_resource_id: 'PERSISTENT_RESOURCE_ID'
)

# Define a pipeline that runs the custom training job
@dsl.pipeline(
  name="resource-spec-request",
  description="A simple pipeline that requests a Google Cloud machine resource",
  pipeline_root='PIPELINE_ROOT',
)
def pipeline():
  training_job_task = custom_training_job(
      project='PROJECT_ID',
      location='LOCATION',
  ).set_display_name('training-job-task')

Ganti kode berikut:

  • DISPLAY_NAME: Nama tugas kustom. Jika Anda tidak menentukan namanya, nama komponen akan digunakan, secara default.

  • MACHINE_TYPE: Jenis mesin untuk menjalankan tugas kustom—misalnya, e2-standard-4. Untuk mengetahui informasi selengkapnya tentang jenis mesin, lihat Jenis mesin. Jika Anda menentukan TPU sebagai accelerator_type, tetapkan ini ke cloud-tpu. Untuk mengetahui informasi selengkapnya, lihat referensi parameter machine_type.

  • ACCELERATOR_TYPE: Jenis akselerator yang dipasang ke mesin. Untuk mengetahui informasi selengkapnya tentang GPU yang tersedia dan cara mengonfigurasinya, lihat GPU. Untuk mengetahui informasi selengkapnya tentang jenis TPU yang tersedia dan cara mengonfigurasinya, lihat TPU. Untuk mengetahui informasi selengkapnya, lihat referensi parameter accelerator_type.

  • ACCELERATOR_COUNT: Jumlah akselerator yang terpasang ke mesin yang menjalankan tugas kustom. Jika Anda menentukan jenis akselerator, jumlah akselerator akan ditetapkan ke 1 secara default.

  • BOOT_DISK_TYPE: Jenis boot disk. Untuk mengetahui informasi selengkapnya, lihat referensi parameter boot_disk_type.

  • BOOT_DISK_SIZE: Ukuran boot disk dalam GB. Untuk mengetahui informasi selengkapnya, lihat referensi parameter boot_disk_size_gb.

  • NETWORK: Jika tugas kustom di-peering ke Compute Engine jaringan yang memiliki akses layanan pribadi yang terkonfigurasi, tentukan nama lengkap jaringan. Untuk mengetahui informasi selengkapnya, lihat referensi parameter network.

  • RESERVED_IP_RANGES: Daftar nama untuk rentang IP yang dicadangkan dengan jaringan VPC yang digunakan untuk men-deploy tugas kustom. Untuk mengetahui informasi selengkapnya, lihat referensi parameter reserved_ip_ranges.

  • NFS_MOUNTS: Daftar resource pemasangan NFS dalam format ketik JSON. Untuk mengetahui informasi selengkapnya, lihat referensi parameter nfs_mounts.

  • PERSISTENT_RESOURCE_ID (pratinjau): ID persisten resource untuk menjalankan pipeline. Jika Anda menentukan dengan resource persisten, pipeline ini berjalan di mesin yang sudah ada yang terkait dengan resource persisten, bukan on-demand dan berumur pendek resource mesin. Perhatikan bahwa jaringan dan konfigurasi CMEK untuk pipeline harus cocok dengan konfigurasi yang ditentukan untuk resource persisten. Untuk informasi selengkapnya tentang resource persisten dan cara membuatnya, lihat Buat resource persisten.

  • PIPELINE_ROOT: Tentukan Cloud Storage URI yang dapat diakses oleh akun layanan pipeline Anda. Artefak operasi pipeline Anda disimpan dalam root pipeline.

  • PROJECT_ID: Project Google Cloud tempat pipeline ini berjalan.

  • LOCATION: Lokasi atau region tempat pipeline ini berjalan.

Referensi API

Untuk mengetahui daftar lengkap argumen yang didukung oleh metode create_custom_training_job_from_component, lihat Referensi SDK Komponen Pipeline Google Cloud.