A seconda del tipo di componente, della risorsa e della versione dell'SDK Google Cloud Pipeline Componenti, Vertex AI Pipelines propaga automaticamente le etichette dall'esecuzione della pipeline alle risorse generate dai componenti di Google Cloud Pipelines o richiede che tu etichetta le risorse generate. Per i componenti definiti dall'utente, devi creare il codice del componente per associare le etichette da una variabile di ambiente. Per saperne di più, consulta Risorse generate da componenti definiti dall'utente.
Risorse con etichettatura automatica
Vertex AI Pipelines etichetta automaticamente le seguenti risorse, indipendentemente dalla versione dell'SDK Google Cloud Pipeline Componenti:
CustomJob
risorse
Vertex AI Pipelines propaga automaticamente le etichette dall'esecuzione della pipeline alle risorse CustomJob
. Questa operazione è supportata dai componenti seguenti in tutte le versioni dell'SDK Google Cloud Pipeline Componenti:
Risorse con etichettatura automatica nell'SDK Google Cloud Pipeline Componenti versione 1.0.31 o successive
Vertex AI Pipelines etichetta automaticamente le seguenti risorse se utilizzi l'SDK Google Cloud Pipeline Componenti v1.0.31 o successive:
BatchPredictionJob
risorse
Vertex AI Pipelines propaga automaticamente le etichette dall'esecuzione della pipeline alle BatchPredictionJob
risorse generate dal componente ModelBatchPredictOp
se utilizzi la versione 1.0.31 o successiva dell'SDK Google Cloud Pipeline Componenti.
Risorse endpoint
di Vertex AI
Vertex AI Pipelines propaga automaticamente le etichette dall'esecuzione della pipeline alle risorse endpoint
di Vertex AI generate dal componente EndpointCreateOp
se utilizzi la versione 1.0.31 o successiva dell'SDK Google Cloud Pipeline Componenti.
HyperparameterTuningJob
risorse
Vertex AI Pipelines propaga automaticamente le etichette dall'esecuzione della pipeline alle HyperparameterTuningJob
risorse generate dal componente HyperparameterTuningJobRunOp
se utilizzi la versione 1.0.31 o successiva dell'SDK Google Cloud Pipeline Componenti.
Risorse set di dati Vertex AI
Vertex AI Pipelines propaga automaticamente le etichette dall'esecuzione della pipeline alle risorse del set di dati Vertex AI generate dai seguenti componenti Vertex AI se utilizzi la versione 1.0.31 o successiva dell'SDK Google Cloud Pipeline Componenti:
Risorse dei job BigQuery di Google Cloud
Vertex AI Pipelines propaga automaticamente le etichette dall'esecuzione della pipeline alle risorse delle risorse del job Google Cloud BigQuery generate da qualsiasi componente BigQuery ML se utilizzi la versione 1.0.31 o successiva dell'SDK Google Cloud Pipeline Componenti.
Risorse del job Google Cloud Dataproc
Vertex AI Pipelines propaga automaticamente le etichette dall'esecuzione della pipeline alle risorse delle risorse del job Google Cloud Dataproc generate da qualsiasi componente Dataproc Serverless se utilizzi la versione 1.0.31 o successiva dell'SDK Google Cloud Pipeline Componenti.
TrainingPipeline
e Model
risorse
Vertex AI Pipelines propaga automaticamente le etichette dall'esecuzione della pipeline alle risorse TrainingPipeline
e Model
generate dai seguenti componenti AutoML se utilizzi la versione 1.0.31 o successiva dell'SDK Google Cloud Pipeline Componenti:
Risorse della tabella BigQuery di Google Cloud
Vertex AI Pipelines propaga automaticamente le etichette dall'esecuzione della pipeline delle risorse delle risorse della tabella Google Cloud BigQuery generate dal componente ForecastingPreprocessingOp
se utilizzi la versione 1.0.31 o successiva dell'SDK Google Cloud Pipeline Componenti.
Risorse senza etichettatura automatica
Vertex AI Pipelines non etichetta automaticamente le seguenti risorse, indipendentemente dalla versione dell'SDK Google Cloud Pipeline Componenti:
Risorse Google Cloud Dataflow
Vertex AI Pipelines non etichetta automaticamente le risorse Dataflow generate dal componente DataflowPythonJobOp
. Puoi includere istruzioni nel codice per etichettare le risorse.
Utilizza il seguente esempio di codice per propagare le etichette di fatturazione dall'esecuzione della pipeline a qualsiasi risorsa Google Cloud Dataflow generata mediante il componente DataflowPythonJobOp
:
import argparse
import apache_beam as beam
...
def run(argv=None):
parser = argparse.ArgumentParser()
# Don't add `--labels` to the argument list, so that they will be passed to the pipeline_options
parser.add_argument('--input', …)
parser.add_argument('--output', …)
...
known_args, pipeline_args = parser.parse_known_args(argv)
pipeline_options = PipelineOptions(pipeline_args)
with beam.Pipeline(options=pipeline_options) as p:
Risorse generate da componenti definiti dall'utente
Vertex AI Pipelines non etichetta automaticamente le risorse Google Cloud generate da componenti definiti dall'utente. Puoi includere nel codice istruzioni per recuperare le etichette dalla variabile di ambiente VERTEX_AI_PIPELINES_RUN_LABELS
e collegarle alle risorse Google Cloud generate utilizzando il componente in fase di runtime.
La variabile di ambiente VERTEX_AI_PIPELINE_RUN_LABELS
contiene le etichette in formato JSON sotto forma di coppie chiave-valore.
Ad esempio: { "label1_key": "label1_value", "label2_key": "label2_value", ...}
Se usi l'SDK Vertex AI per Python, utilizza il seguente esempio di codice nel codice del componente per propagare le etichette dalla variabile di ambiente a una nuova risorsa generata dal componente:
import os
import json
from google.cloud import aiplatform
aiplatform.init(
project='PROJECT_ID',
location='LOCATION'
)
aiplatform.RESOURCE.create(
...
json.loads(os.getenv("VERTEX_AI_PIPELINES_RUN_LABELS"))
)
Sostituisci quanto segue:
PROJECT_ID: il progetto Google Cloud in cui viene eseguita questa pipeline.
LOCATION: la località o la regione in cui viene eseguita la pipeline.
RESOURCE: risorsa Google Cloud generata dal componente, ad esempio
CustomJob
oModel
.
Puoi anche usare l'utilità gcp_labels_util.attach_system_labels
se vuoi usare Python per analizzare la variabile di ambiente. Puoi utilizzare questa utilità solo se hai accesso alla libreria dei componenti di pipeline di Google Cloud e utilizzi Python. Per maggiori informazioni, consulta il codice sorgente della funzione di utilità in GitHub.
Risorse senza supporto per l'etichettatura
Vertex AI Pipelines non supporta la propagazione delle etichette di fatturazione nelle seguenti risorse:
Risorse dei metadati ML
Le risorse dei metadati ML vengono fatturate a livello di negozio. Non puoi utilizzare le etichette di fatturazione per comprendere il costo a livello di risorsa.
Risorse di Cloud Storage
Vertex AI Pipelines non propaga le etichette di fatturazione alle risorse Cloud Storage, come i bucket Cloud Storage.