Etichettatura delle risorse di Vertex AI Pipelines

A seconda del tipo di componente, della risorsa e della versione dell'SDK dei componenti della pipeline di Google Cloud, Vertex AI Pipelines propaga automaticamente le etichette dell'esecuzione della pipeline alle risorse generate dai componenti della pipeline di Google Cloud o richiede che tu etichetta le risorse generate. Per i componenti definiti dall'utente, devi creare il codice del componente per collegare le etichette da una variabile di ambiente. Per saperne di più, consulta Risorse generate da componenti definiti dall'utente.

Risorse con etichettatura automatica

Vertex AI Pipelines etichetta automaticamente le seguenti risorse, indipendentemente dalla versione dell'SDK dei componenti della pipeline di Google Cloud:

CustomJob risorse

Vertex AI Pipelines propaga automaticamente le etichette dall'esecuzione della pipeline alle risorse CustomJob. Questa operazione è supportata dai seguenti componenti in tutte le versioni dell'SDK dei componenti della pipeline di Google Cloud:

Risorse con etichettatura automatica nell'SDK dei componenti della pipeline di Google Cloud 1.0.31 o versioni successive

Vertex AI Pipelines etichetta automaticamente le seguenti risorse se utilizzi l'SDK dei componenti della pipeline di Google Cloud 1.0.31 o versioni successive:

BatchPredictionJob risorse

Vertex AI Pipelines propaga automaticamente le etichette dall'esecuzione della pipeline a BatchPredictionJob risorse generate dal componente ModelBatchPredictOp se utilizzi la versione 1.0.31 o successiva dell'SDK dei componenti della pipeline di Google Cloud.

Risorse endpoint di Vertex AI

Vertex AI Pipelines propaga automaticamente le etichette dell'esecuzione della pipeline alle risorse endpoint di Vertex AI generate dal componente EndpointCreateOp se utilizzi la versione 1.0.31 o successiva dell'SDK dei componenti della pipeline di Google Cloud.

HyperparameterTuningJob risorse

Vertex AI Pipelines propaga automaticamente le etichette dall'esecuzione della pipeline a HyperparameterTuningJob risorse generate dal componente HyperparameterTuningJobRunOp se utilizzi la versione 1.0.31 o successiva dell'SDK dei componenti della pipeline di Google Cloud.

Risorse set di dati Vertex AI

Se utilizzi la versione 1.0.31 o successiva dell'SDK Google Cloud Pipeline Components, Vertex AI Pipelines propaga automaticamente le etichette dell'esecuzione della pipeline alle risorse del set di dati di Vertex AI generate dai seguenti componenti di Vertex AI:

Risorse del job BigQuery di Google Cloud

Vertex AI Pipelines propaga automaticamente le etichette dell'esecuzione della pipeline alle risorse del job BigQuery di Google Cloud generate da uno qualsiasi dei componenti di BigQuery ML se utilizzi la versione 1.0.31 o successiva dell'SDK dei componenti della pipeline di Google Cloud.

Risorse job di Google Cloud Dataproc

Vertex AI Pipelines propaga automaticamente le etichette dell'esecuzione della pipeline alle risorse dei job di Google Cloud Dataproc generate da uno qualsiasi dei componenti serverless di Dataproc se utilizzi la versione 1.0.31 o successiva dell'SDK dei componenti della pipeline di Google Cloud.

TrainingPipeline e Model risorse

Vertex AI Pipelines propaga automaticamente le etichette dall'esecuzione della pipeline alle risorse TrainingPipeline e Model generate dai seguenti componenti AutoML se utilizzi la versione 1.0.31 o successiva dell'SDK dei componenti della pipeline di Google Cloud:

Risorse delle tabelle BigQuery di Google Cloud

Vertex AI Pipelines propaga automaticamente le etichette della pipeline esegue le risorse delle risorse delle tabelle BigQuery di Google Cloud generate dal componente ForecastingPreprocessingOp se utilizzi la versione 1.0.31 o successiva dell'SDK dei componenti della pipeline di Google Cloud.

Risorse senza etichettatura automatica

Vertex AI Pipelines non etichetta automaticamente le seguenti risorse, indipendentemente dalla versione dell'SDK dei componenti della pipeline di Google Cloud:

Risorse Dataflow di Google Cloud

Vertex AI Pipelines non etichetta automaticamente le risorse Dataflow generate dal componente DataflowPythonJobOp. Puoi includere nel codice istruzioni per etichettare le risorse.

Utilizza il seguente esempio di codice per propagare le etichette di fatturazione dall'esecuzione della pipeline a qualsiasi risorsa Dataflow di Google Cloud generata utilizzando il componente DataflowPythonJobOp:

  import argparse
  import apache_beam as beam
  ...
  def run(argv=None):
    parser = argparse.ArgumentParser()
    # Don't add `--labels` to the argument list, so that they will be passed to the pipeline_options 
    parser.add_argument('--input', …)
    parser.add_argument('--output', …)
  ...
    known_args, pipeline_args = parser.parse_known_args(argv)
    pipeline_options = PipelineOptions(pipeline_args)
    with beam.Pipeline(options=pipeline_options) as p:

Risorse generate da componenti definiti dall'utente

Vertex AI Pipelines non etichetta automaticamente le risorse Google Cloud generate da componenti definiti dall'utente. Puoi includere istruzioni nel codice per recuperare le etichette dalla variabile di ambiente VERTEX_AI_PIPELINES_RUN_LABELS e collegarle alle risorse Google Cloud generate utilizzando il componente in fase di runtime.

La variabile di ambiente VERTEX_AI_PIPELINE_RUN_LABELS contiene le etichette in formato JSON come coppie chiave/valore.

Ad esempio: { "label1_key": "label1_value", "label2_key": "label2_value", ...}

Se utilizzi l'SDK Vertex AI per Python, utilizza il seguente esempio di codice nel codice del componente per propagare le etichette dalla variabile di ambiente a una nuova risorsa generata dal componente:

import os
import json
from google.cloud import aiplatform

aiplatform.init(
  project='PROJECT_ID',
  location='LOCATION'
)

aiplatform.RESOURCE.create(
  ...
  json.loads(os.getenv("VERTEX_AI_PIPELINES_RUN_LABELS"))
)

Sostituisci quanto segue:

  • PROJECT_ID: il progetto Google Cloud in cui viene eseguita questa pipeline.

  • LOCATION: la località o la regione in cui viene eseguita questa pipeline.

  • RESOURCE: risorsa Google Cloud generata dal componente, ad esempio CustomJob o Model.

Puoi anche utilizzare l'utilità gcp_labels_util.attach_system_labels se vuoi utilizzare Python per analizzare la variabile di ambiente. Puoi utilizzare questa utilità solo se hai accesso alla libreria dei componenti della pipeline di Google Cloud e utilizzi Python. Per maggiori informazioni, consulta il codice sorgente della funzione di utilità in GitHub.

Risorse senza supporto delle etichette

Vertex AI Pipelines non supporta la propagazione delle etichette di fatturazione alle seguenti risorse:

Risorse dei metadati ML

Le risorse di metadati ML vengono fatturate a livello di archivio. Non puoi utilizzare le etichette di fatturazione per comprendere il costo a livello di risorsa.

Risorse di Cloud Storage

Vertex AI Pipelines non propaga etichette di fatturazione alle risorse Cloud Storage, come i bucket Cloud Storage.

Passaggi successivi