Pelabelan resource oleh Vertex AI Pipelines

Bergantung pada jenis komponen, resource, dan Google Cloud versi Pipeline Components SDK, Vertex AI Pipelines akan otomatis menerapkan label dari operasi pipeline ke resource yang dihasilkan dari Google Cloud Pipeline Components atau mengharuskan Anda melabeli resource yang dihasilkan. Untuk komponen yang ditentukan pengguna, Anda harus menulis kode komponen guna melampirkan label dari variabel lingkungan. Untuk mengetahui informasi selengkapnya, lihat Resource yang dihasilkan dari komponen yang ditentukan pengguna.

Resource dengan pelabelan otomatis

Vertex AI Pipelines akan secara otomatis melabeli resource berikut, terlepas dari Google Cloud versi Pipeline Components SDK:

CustomJob materi

Vertex AI Pipelines secara otomatis menerapkan label dari operasi pipeline Anda ke resource CustomJob. Ini didukung oleh komponen berikut di semua versi Google Cloud Pipeline Components SDK:

Resource dengan pelabelan otomatis di Google Cloud Pipeline Components SDK v1.0.31 atau yang lebih baru

Vertex AI Pipelines secara otomatis melabeli resource berikut jika Anda menggunakan Google Cloud Pipeline Components SDK v1.0.31 atau yang lebih baru:

BatchPredictionJob materi

Vertex AI Pipelines secara otomatis menerapkan label dari operasi pipeline ke resource BatchPredictionJob yang dihasilkan dari komponen ModelBatchPredictOp jika Anda menggunakan Google Cloud Pipeline Components SDK v1.0.31 atau yang lebih baru.

Resource endpoint Vertex AI

Vertex AI Pipelines secara otomatis menerapkan label dari operasi pipeline ke resource endpoint Vertex AI yang dihasilkan dari komponen EndpointCreateOp jika Anda menggunakan Google Cloud Pipeline Components SDK v1.0.31 atau yang lebih baru.

HyperparameterTuningJob materi

Vertex AI Pipelines secara otomatis menerapkan label dari operasi pipeline ke resource HyperparameterTuningJob yang dihasilkan dari komponen HyperparameterTuningJobRunOp jika Anda menggunakan Google Cloud Pipeline Components SDK v1.0.31 atau yang lebih baru.

Resource set data Vertex AI

Vertex AI Pipelines secara otomatis menerapkan label dari operasi pipeline ke resource set data Vertex AI yang dihasilkan dari komponen Vertex AI berikut jika Anda menggunakan Google Cloud Pipeline Components SDK v1.0.31 atau yang lebih baru:

Google Cloud Resource BigQuery Job

Vertex AI Pipelines secara otomatis menerapkan label dari operasi pipeline ke Google Cloud resource BigQuery Job yang dihasilkan dari salah satu komponen BigQuery ML jika Anda menggunakan Google Cloud Pipeline Components SDK v1.0.31 atau yang lebih baru.

Google Cloud Resource Tugas Dataproc

Vertex AI Pipelines secara otomatis menerapkan label dari operasi pipeline ke Google Cloud resource Dataproc Job yang dihasilkan dari salah satu komponen Dataproc Serverless jika Anda menggunakan Google Cloud Pipeline Components SDK v1.0.31 atau yang lebih baru.

Resource TrainingPipeline dan Model

Vertex AI Pipelines secara otomatis menerapkan label dari operasi pipeline ke resource TrainingPipeline dan Model yang dihasilkan dari komponen AutoML berikut jika Anda menggunakan Google Cloud Pipeline Components SDK v1.0.31 atau yang lebih baru:

Google Cloud Resource tabel BigQuery

Vertex AI Pipelines secara otomatis menerapkan label dari operasi pipeline Google Cloud resource tabel BigQuery yang dihasilkan dari komponen ForecastingPreprocessingOp jika Anda menggunakan Google Cloud Pipeline Components SDK v1.0.31 atau yang lebih baru.

Resource tanpa pelabelan otomatis

Vertex AI Pipelines tidak melabeli resource berikut secara otomatis, terlepas dari versi Google Cloud Pipeline Components SDK:

Google Cloud Referensi Dataflow

Vertex AI Pipelines tidak secara otomatis melabeli resource Dataflow yang dihasilkan oleh komponen DataflowPythonJobOp. Anda dapat menyertakan petunjuk dalam kode untuk melabeli resource.

Gunakan contoh kode berikut untuk menerapkan label penagihan dari operasi pipeline ke Google Cloud resource Dataflow mana pun yang dibuat menggunakan komponen DataflowPythonJobOp:

  import argparse
  import apache_beam as beam
  ...
  def run(argv=None):
    parser = argparse.ArgumentParser()
    # Don't add `--labels` to the argument list, so that they will be passed to the pipeline_options 
    parser.add_argument('--input', …)
    parser.add_argument('--output', …)
  ...
    known_args, pipeline_args = parser.parse_known_args(argv)
    pipeline_options = PipelineOptions(pipeline_args)
    with beam.Pipeline(options=pipeline_options) as p:

Resource yang dihasilkan dari komponen yang ditentukan pengguna

Vertex AI Pipelines tidak otomatis melabeli Google Cloud resource yang dihasilkan dari komponen yang ditentukan pengguna. Anda dapat menyertakan petunjuk dalam kode untuk mengambil label dari variabel lingkungan VERTEX_AI_PIPELINES_RUN_LABELS dan melampirkan label tersebut ke Google Cloud resource yang dibuat menggunakan komponen saat runtime.

Variabel lingkungan VERTEX_AI_PIPELINE_RUN_LABELS berisi label dalam format JSON sebagai key-value pair.

Contoh: { "label1_key": "label1_value", "label2_key": "label2_value", ...}

Jika Anda menggunakan Vertex AI SDK untuk Python, gunakan contoh kode berikut di kode komponen Anda untuk menerapkan label dari variabel lingkungan ke resource baru yang dihasilkan dari komponen:

import os
import json
from google.cloud import aiplatform

aiplatform.init(
  project='PROJECT_ID',
  location='LOCATION'
)

aiplatform.RESOURCE.create(
  ...
  json.loads(os.getenv("VERTEX_AI_PIPELINES_RUN_LABELS"))
)

Ganti kode berikut:

  • PROJECT_ID: Project Google Cloud tempat pipeline ini berjalan.

  • LOCATION: Lokasi atau region tempat pipeline ini berjalan.

  • RESOURCE: Google Cloud resource yang dihasilkan dari komponen, misalnya, CustomJob atau Model.

Anda juga dapat menggunakan utilitas gcp_labels_util.attach_system_labels jika ingin menggunakan Python untuk mengurai variabel lingkungan. Anda dapat menggunakan utilitas ini hanya jika memiliki akses ke Google Cloud library Komponen Pipeline dan menggunakan Python. Untuk mengetahui informasi selengkapnya, lihat kode sumber fungsi utilitas di GitHub.

Resource tanpa dukungan pelabelan

Vertex AI Pipelines tidak mendukung penerapan label penagihan ke resource berikut:

Resource ML Metadata

Resource ML Metadata ditagih di level penyimpanan. Anda tidak dapat menggunakan label penagihan untuk memahami biaya level resource.

Resource Cloud Storage

Vertex AI Pipelines tidak menerapkan label penagihan ke resource Cloud Storage, seperti bucket Cloud Storage.

Langkah berikutnya