Tagging delle risorse da parte di Vertex AI Pipelines

A seconda del tipo di componente, della risorsa e della Google Cloud versione dell'SDK Pipeline Components, Vertex AI Pipelines propaga automaticamente le etichette dall'esecuzione della pipeline alle risorse generate da Google Cloud Pipeline Components o richiede di etichettare le risorse generate. Per i componenti definiti dall'utente, devi creare il codice del componente per allegare le etichette da una variabile di ambiente. Per ulteriori informazioni, vedi Risorse generate da componenti definiti dall'utente.

Risorse con etichettatura automatica

Vertex AI Pipelines etichetta automaticamente le seguenti risorse, indipendentemente dalla Google Cloud versione dell'SDK Pipeline Components:

CustomJob risorse

Vertex AI Pipelines propaga automaticamente le etichette dall'esecuzione della pipeline alle risorse CustomJob. Questa funzionalità è supportata dai seguenti componenti in tutte le versioni dell' Google Cloud SDK Pipeline Components:

Risorse con etichettatura automatica nell' Google Cloud SDK Pipeline Components 1.0.31 o versioni successive

Vertex AI Pipelines etichetta automaticamente le seguenti risorse se utilizzi l' Google Cloud SDK Pipeline Components 1.0.31 o versioni successive:

BatchPredictionJob risorse

Vertex AI Pipelines propaga automaticamente le etichette dall'esecuzione della pipeline alle risorse BatchPredictionJob generate dal componente ModelBatchPredictOp se utilizzi la versione 1.0.31 o successive dell' Google Cloud SDK Pipeline Components.

Risorse endpoint Vertex AI

Vertex AI Pipelines propaga automaticamente le etichette dall'esecuzione della pipeline alle risorse endpoint di Vertex AI generate dal componente EndpointCreateOp se utilizzi la versione 1.0.31 o successive dell'SDK Google Cloud Pipeline Components.

HyperparameterTuningJob risorse

Vertex AI Pipelines propaga automaticamente le etichette dall'esecuzione della pipeline alle risorse HyperparameterTuningJob generate dal componente HyperparameterTuningJobRunOp se utilizzi la versione 1.0.31 o successive dell' Google Cloud SDK Pipeline Components.

Risorse dei set di dati Vertex AI

Vertex AI Pipelines propaga automaticamente le etichette dall'esecuzione della pipeline alle risorse dei set di dati Vertex AI generate dai seguenti componenti Vertex AI se utilizzi la versione 1.0.31 o successiva dell' Google Cloud SDK Pipeline Components:

Google Cloud Risorse dei job BigQuery

Vertex AI Pipelines propaga automaticamente le etichette dall'esecuzione della pipeline alle Google Cloud risorse dei job BigQuery generate da uno dei componenti BigQuery ML se utilizzi la versione 1.0.31 o successive dell' Google Cloud SDK Pipeline Components.

Google Cloud Risorse dei job Dataproc

Vertex AI Pipelines propaga automaticamente le etichette dall'esecuzione della pipeline alle Google Cloud risorse dei job Dataproc generate da uno dei componenti Dataproc Serverless se utilizzi la versione 1.0.31 o successive dell' Google Cloud SDK Pipeline Components.

Risorse TrainingPipeline e Model

Vertex AI Pipelines propaga automaticamente le etichette dall'esecuzione della pipeline alle risorse TrainingPipeline e Model generate dai seguenti componenti AutoML se utilizzi la versione 1.0.31 o successive dell' Google Cloud SDK Pipeline Components:

Google Cloud Risorse delle tabelle BigQuery

Vertex AI Pipelines propaga automaticamente le etichette dalle risorse della tabella BigQuery generate dall'esecuzione della pipeline dal componente ForecastingPreprocessingOp se utilizzi la versione 1.0.31 o successive dell'SDK Pipeline Components. Google Cloud Google Cloud

Risorse senza etichettatura automatica

Vertex AI Pipelines non etichetta automaticamente le seguenti risorse, indipendentemente dalla Google Cloud versione dell'SDK Pipeline Components:

Google Cloud Risorse Dataflow

Vertex AI Pipelines non etichetta automaticamente le risorse Dataflow generate dal componente DataflowPythonJobOp. Puoi includere istruzioni nel codice per etichettare le risorse.

Utilizza il seguente esempio di codice per propagare le etichette di fatturazione dall'esecuzione della pipeline a qualsiasi Google Cloud risorsa Dataflow generata utilizzando il componente DataflowPythonJobOp:

  import argparse
  import apache_beam as beam
  ...
  def run(argv=None):
    parser = argparse.ArgumentParser()
    # Don't add `--labels` to the argument list, so that they will be passed to the pipeline_options 
    parser.add_argument('--input', …)
    parser.add_argument('--output', …)
  ...
    known_args, pipeline_args = parser.parse_known_args(argv)
    pipeline_options = PipelineOptions(pipeline_args)
    with beam.Pipeline(options=pipeline_options) as p:

Risorse generate da componenti definiti dall'utente

Vertex AI Pipelines non etichetta automaticamente le risorse generate da componenti definiti dall'utente. Google Cloud Puoi includere istruzioni nel codice per recuperare le etichette dalla variabile di ambiente VERTEX_AI_PIPELINES_RUN_LABELS e associarle alle risorse Google Cloud generate utilizzando il componente in fase di esecuzione.

La variabile di ambiente VERTEX_AI_PIPELINE_RUN_LABELS contiene le etichette in formato JSON come coppie chiave-valore.

Ad esempio: { "label1_key": "label1_value", "label2_key": "label2_value", ...}

Se utilizzi l'SDK Vertex AI per Python, utilizza il seguente esempio di codice nel codice del componente per propagare le etichette dalla variabile di ambiente a una nuova risorsa generata dal componente:

import os
import json
from google.cloud import aiplatform

aiplatform.init(
  project='PROJECT_ID',
  location='LOCATION'
)

aiplatform.RESOURCE.create(
  ...
  json.loads(os.getenv("VERTEX_AI_PIPELINES_RUN_LABELS"))
)

Sostituisci quanto segue:

  • PROJECT_ID: il progetto Google Cloud in cui viene eseguita questa pipeline.

  • LOCATION: la località o la regione in cui viene eseguita questa pipeline.

  • RESOURCE: Google Cloud risorsa generata dal componente, ad esempio CustomJob o Model.

Puoi anche utilizzare l'utilità gcp_labels_util.attach_system_labels se vuoi utilizzare Python per analizzare la variabile d'ambiente. Puoi utilizzare questa utility solo se hai accesso alla Google Cloud libreria Componenti pipeline e utilizzi Python. Per maggiori informazioni, consulta il codice sorgente della funzione di utilità su GitHub.

Risorse senza supporto per l'etichettatura

Vertex AI Pipelines non supporta la propagazione delle etichette di fatturazione alle seguenti risorse:

Risorse di ML Metadata

Le risorse di metadati ML vengono fatturate a livello di negozio. Non puoi utilizzare le etichette di fatturazione per comprendere il costo a livello di risorsa.

Risorse di Cloud Storage

Vertex AI Pipelines non propaga le etichette di fatturazione alle risorse Cloud Storage, ad esempio i bucket Cloud Storage.

Passaggi successivi