Etiquetado de recursos por Vertex AI Pipelines

En función del tipo de componente, recurso y la versión del SDK de componentes de flujo de procesamiento, Vertex AI Pipelines propaga automáticamente las etiquetas de la ejecución del flujo de procesamiento a los recursos generados a partir de los componentes de flujo de procesamiento o requiere que etiquetes los recursos generados. Google Cloud Google Cloud En el caso de los componentes definidos por el usuario, debes crear el código del componente para adjuntar las etiquetas de una variable de entorno. Para obtener más información, consulta Recursos generados a partir de componentes definidos por el usuario.

Recursos con etiquetado automático

Vertex AI Pipelines etiqueta automáticamente los siguientes recursos, independientemente de la versión del SDK de componentes de la canalización: Google Cloud

CustomJob recursos

Vertex AI Pipelines propaga automáticamente las etiquetas de la ejecución de tu flujo de procesamiento a los recursos de CustomJob. Esto es compatible con los siguientes componentes en todas las versiones del SDK de componentes de la canalización de Google Cloud :

Recursos con etiquetado automático en el SDK de componentes de la canalización v1.0.31 o versiones posteriores Google Cloud

Vertex AI Pipelines etiqueta automáticamente los siguientes recursos si usas el Google Cloud SDK de componentes de flujo de procesamiento v1.0.31 o una versión posterior:

BatchPredictionJob recursos

Vertex AI Pipelines propaga automáticamente las etiquetas de la ejecución de tu flujo de procesamiento a los recursos BatchPredictionJob generados a partir del componente ModelBatchPredictOp si usas la versión 1.0.31 o una posterior del SDK de componentes de flujo de procesamiento Google Cloud .

Recursos de Vertex AI endpoint

Vertex AI Pipelines propaga automáticamente las etiquetas de la ejecución de tu flujo de procesamiento a los recursos de endpoint de Vertex AI generados a partir del componente EndpointCreateOp si usas la versión 1.0.31 o una posterior del SDK de componentes de flujo de procesamiento Google Cloud .

HyperparameterTuningJob recursos

Vertex AI Pipelines propaga automáticamente las etiquetas de la ejecución de tu flujo de procesamiento a los recursos HyperparameterTuningJob generados a partir del componente HyperparameterTuningJobRunOp si usas la versión 1.0.31 o una posterior del SDK de componentes de flujo de procesamiento Google Cloud .

Recursos de conjuntos de datos de Vertex AI

Vertex AI Pipelines propaga automáticamente las etiquetas de tu ejecución de flujo de procesamiento a los recursos del conjunto de datos de Vertex AI generados a partir de los siguientes componentes de Vertex AI si usas la versión 1.0.31 o posterior del SDK de componentes de flujo de procesamiento de Google Cloud :

Google Cloud Recursos de tareas de BigQuery

Vertex AI Pipelines propaga automáticamente las etiquetas de la ejecución de tu flujo de trabajo a los recursos de la tarea de BigQuery Google Cloud generados a partir de cualquiera de los componentes de BigQuery ML si usas la versión 1.0.31 o posterior del SDK de componentes de flujo de trabajo Google Cloud .

Google Cloud Recursos de tareas de Dataproc

Vertex AI Pipelines propaga automáticamente las etiquetas de la ejecución de tu flujo de procesamiento a los recursos de trabajo de Dataproc generados a partir de cualquiera de los componentes de Dataproc sin servidor si usas la versión 1.0.31 o una posterior del SDK de componentes de flujo de procesamiento Google Cloud . Google Cloud

Recursos de TrainingPipeline y Model

Vertex AI Pipelines propaga automáticamente las etiquetas de la ejecución de tu flujo de procesamiento a los recursos TrainingPipeline y Model generados a partir de los siguientes componentes de AutoML si usas la versión 1.0.31 o una posterior del SDK de componentes de Google Cloud Pipeline:

Google Cloud Recursos de tabla de BigQuery

Vertex AI Pipelines propaga automáticamente las etiquetas de la ejecución de tu canalización Google Cloud recursos de tabla de BigQuery generados a partir del componente ForecastingPreprocessingOp si usas la versión 1.0.31 o una posterior del SDK de componentes de canalización Google Cloud .

Recursos sin etiquetado automático

Vertex AI Pipelines no etiqueta automáticamente los siguientes recursos, independientemente de la versión del SDK de componentes de la canalización: Google Cloud

Google Cloud Recursos de Dataflow

Vertex AI Pipelines no etiqueta automáticamente los recursos de Dataflow generados por el componente DataflowPythonJobOp. Puedes incluir instrucciones en tu código para etiquetar los recursos.

Usa el siguiente fragmento de código para propagar las etiquetas de facturación de la ejecución de tu flujo de procesamiento a cualquier recurso de Google Cloud Dataflow generado con el componente DataflowPythonJobOp:

  import argparse
  import apache_beam as beam
  ...
  def run(argv=None):
    parser = argparse.ArgumentParser()
    # Don't add `--labels` to the argument list, so that they will be passed to the pipeline_options 
    parser.add_argument('--input', …)
    parser.add_argument('--output', …)
  ...
    known_args, pipeline_args = parser.parse_known_args(argv)
    pipeline_options = PipelineOptions(pipeline_args)
    with beam.Pipeline(options=pipeline_options) as p:

Recursos generados a partir de componentes definidos por el usuario

Vertex AI Pipelines no etiqueta automáticamente los Google Cloud recursos generados a partir de componentes definidos por el usuario. Puede incluir instrucciones en su código para recuperar las etiquetas de la variable de entorno VERTEX_AI_PIPELINES_RUN_LABELS y adjuntarlas a los Google Cloud recursos generados mediante el componente en tiempo de ejecución.

La variable de entorno VERTEX_AI_PIPELINE_RUN_LABELS contiene las etiquetas en formato JSON como pares clave-valor.

Por ejemplo: { "label1_key": "label1_value", "label2_key": "label2_value", ...}

Si usas el SDK de Vertex AI para Python, utiliza el siguiente ejemplo de código en el código de tu componente para propagar las etiquetas de la variable de entorno a un nuevo recurso generado a partir del componente:

import os
import json
from google.cloud import aiplatform

aiplatform.init(
  project='PROJECT_ID',
  location='LOCATION'
)

aiplatform.RESOURCE.create(
  ...ß
  json.loads(os.getenv("VERTEX_AI_PIPELINES_RUN_LABELS"))
)

Haz los cambios siguientes:

  • PROJECT_ID: el Google Cloud proyecto que contiene la ejecución del flujo de procesamiento.

  • LOCATION: la ubicación de la ejecución del flujo de procesamiento.

  • RESOURCE: Google Cloud recurso generado a partir del componente, por ejemplo, CustomJob o Model.

También puedes usar la utilidad gcp_labels_util.attach_system_labels si quieres usar Python para analizar la variable de entorno. Solo puedes usar esta utilidad si tienes acceso a la biblioteca de componentes de canalización Google Cloud y usas Python. Para obtener más información, consulta el código fuente de la función de utilidad en GitHub.

Recursos sin asistencia para el etiquetado

Vertex AI Pipelines no admite la propagación de etiquetas de facturación a los siguientes recursos:

Recursos de metadatos de aprendizaje automático

Los recursos de metadatos de ML se facturan a nivel de almacén. No puedes usar etiquetas de facturación para conocer el coste a nivel de recurso.

Recursos de Cloud Storage

Vertex AI Pipelines no propaga las etiquetas de facturación a los recursos de Cloud Storage, como los segmentos de Cloud Storage.

Siguientes pasos