Pelabelan resource oleh Vertex AI Pipelines

Bergantung pada jenis komponen, resource, dan versi Google Cloud Pipeline Components SDK, Vertex AI Pipelines akan secara otomatis menerapkan label dari operasi pipeline Anda ke resource yang dihasilkan dari Google Cloud Pipeline Components atau mengharuskan Anda melabeli resource yang dihasilkan. Untuk komponen yang ditentukan pengguna, Anda harus menulis kode komponen guna melampirkan label dari variabel lingkungan. Untuk informasi selengkapnya, lihat Resource yang dihasilkan dari komponen yang ditentukan pengguna.

Resource dengan pelabelan otomatis

Vertex AI Pipelines akan secara otomatis melabeli resource berikut, terlepas dari versi Google Cloud Pipeline Components SDK:

Resource CustomJob

Vertex AI Pipelines secara otomatis menerapkan label dari operasi pipeline Anda ke resource CustomJob. Ini didukung oleh komponen berikut di semua versi Google Cloud Pipeline Components SDK:

Resource dengan pelabelan otomatis di Google Cloud Pipeline Components SDK v1.0.31 atau yang lebih baru

Vertex AI Pipelines secara otomatis melabeli resource berikut jika Anda menggunakan Google Cloud Pipeline Components SDK v1.0.31 atau yang lebih baru:

Resource BatchPredictionJob

Vertex AI Pipelines secara otomatis menerapkan label dari pipeline yang dijalankan ke resource BatchPredictionJob yang dihasilkan dari komponen ModelBatchPredictOp jika Anda menggunakan Google Cloud Pipeline Components SDK v1.0.31 atau yang lebih baru.

Resource endpoint Vertex AI

Vertex AI Pipelines secara otomatis menerapkan label dari operasi pipeline ke resource endpoint Vertex AI yang dihasilkan dari komponen EndpointCreateOp jika Anda menggunakan Google Cloud Pipeline Components SDK v1.0.31 atau yang lebih baru.

Resource HyperparameterTuningJob

Vertex AI Pipelines secara otomatis menerapkan label dari operasi pipeline ke resource HyperparameterTuningJob yang dihasilkan dari komponen HyperparameterTuningJobRunOp jika Anda menggunakan Google Cloud Pipeline Components SDK v1.0.31 atau yang lebih baru.

Resource set data Vertex AI

Vertex AI Pipelines secara otomatis menerapkan label dari operasi pipeline ke resource set data Vertex AI yang dihasilkan dari komponen Vertex AI berikut jika Anda menggunakan Google Cloud Pipeline Components SDK v1.0.31 atau yang lebih baru:

Resource Google Cloud BigQuery Job

Vertex AI Pipelines secara otomatis menerapkan label dari operasi pipeline ke resource Google Cloud BigQuery Job yang dihasilkan dari komponen BigQuery ML jika Anda menggunakan Google Cloud Pipeline Components SDK v1.0.31 atau yang lebih baru.

Resource Google Cloud Dataproc Job

Vertex AI Pipelines secara otomatis menerapkan label dari operasi pipeline ke resource Google Cloud Dataproc Job yang dihasilkan dari salah satu komponen Dataproc Serverless jika Anda menggunakan Google Cloud Pipeline Components SDK v1.0.31 atau yang lebih baru.

Resource TrainingPipeline dan Model

Vertex AI Pipelines secara otomatis menerapkan label dari operasi pipeline ke resource TrainingPipeline dan Model yang dihasilkan dari komponen AutoML berikut jika Anda menggunakan Google Cloud Pipeline Components SDK v1.0.31 atau yang lebih baru .

Resource Google Cloud BigQuery table

Vertex AI Pipelines secara otomatis menerapkan label dari resource Google Cloud BigQuery table operasi pipeline yang dihasilkan dari komponen ForecastingPreprocessingOp jika Anda menggunakan Google Cloud Pipeline Components SDK v1.0.31 atau yang lebih baru.

Resource tanpa pelabelan otomatis

Vertex AI Pipelines tidak melabeli resource berikut secara otomatis, terlepas dari versi Google Cloud Pipeline Components SDK:

Resource Google Cloud Dataflow

Vertex AI Pipelines tidak secara otomatis melabeli resource Dataflow yang dihasilkan oleh komponen DataflowPythonJobOp. Anda dapat menyertakan petunjuk dalam kode untuk melabeli resource.

Gunakan contoh kode berikut untuk menerapkan label penagihan dari operasi pipeline ke resource Google Cloud Dataflow mana pun yang dibuat menggunakan komponen DataflowPythonJobOp:

  import argparse
  import apache_beam as beam
  ...
  def run(argv=None):
    parser = argparse.ArgumentParser()
    # Don't add `--labels` to the argument list, so that they will be passed to the pipeline_options 
    parser.add_argument('--input', …)
    parser.add_argument('--output', …)
  ...
    known_args, pipeline_args = parser.parse_known_args(argv)
    pipeline_options = PipelineOptions(pipeline_args)
    with beam.Pipeline(options=pipeline_options) as p:

Resource yang dihasilkan dari komponen yang ditentukan pengguna

Vertex AI Pipelines tidak secara otomatis melabeli resource Google Cloud yang dihasilkan dari komponen yang ditentukan pengguna. Anda dapat menyertakan petunjuk dalam kode untuk mengambil label dari variabel lingkungan VERTEX_AI_PIPELINES_RUN_LABELS dan melampirkan label tersebut ke resource Google Cloud yang dibuat menggunakan komponen saat runtime.

Variabel lingkungan VERTEX_AI_PIPELINE_RUN_LABELS berisi label dalam format JSON sebagai key-value pair.

Contoh: { "label1_key": "label1_value", "label2_key": "label2_value", ...}

Jika Anda menggunakan Vertex AI SDK untuk Python, gunakan contoh kode berikut di kode komponen Anda untuk menerapkan label dari variabel lingkungan ke resource baru yang dihasilkan dari komponen:

import os
import json
from google.cloud import aiplatform

aiplatform.init(
  project='PROJECT_ID',
  location='LOCATION'
)

aiplatform.RESOURCE.create(
  ...
  json.loads(os.getenv("VERTEX_AI_PIPELINES_RUN_LABELS"))
)

Ganti kode berikut:

  • PROJECT_ID: Project Google Cloud tempat pipeline ini berjalan.

  • LOCATION: Lokasi atau region tempat pipeline ini berjalan.

  • RESOURCE: Resource Google Cloud yang dihasilkan dari komponen, misalnya, CustomJob atau Model.

Anda juga dapat menggunakan utilitas gcp_labels_util.attach_system_labels jika ingin menggunakan Python untuk mengurai variabel lingkungan. Anda dapat menggunakan utilitas ini hanya jika memiliki akses ke library Google Cloud Pipeline Components dan menggunakan Python. Untuk mengetahui informasi selengkapnya, lihat kode sumber fungsi utilitas di GitHub.

Resource tanpa dukungan pelabelan

Vertex AI Pipelines tidak mendukung penerapan label penagihan ke resource berikut:

Resource ML Metadata

Resource ML Metadata ditagih di level penyimpanan. Anda tidak dapat menggunakan label penagihan untuk memahami biaya level resource.

Resource Cloud Storage

Vertex AI Pipelines tidak menerapkan label penagihan ke resource Cloud Storage, seperti bucket Cloud Storage.

Langkah berikutnya