Realizar un seguimiento del linaje de los artefactos de canalización

Cada ejecución de canalización creada con Vertex AI Pipelines tiene varios artefactos y parámetros asociados, como modelos, conjuntos de datos, plantillas de canalización y componentes. El linaje de un artefacto de canalización incluye los factores que contribuyeron a su creación, así como los artefactos y los metadatos derivados de él. Por ejemplo, en el linaje del modelo se puede incluir lo siguiente:

  • Los datos de entrenamiento, prueba y evaluación que se usan para crear el modelo

  • Los hiperparámetros usados durante el entrenamiento del modelo

  • Los metadatos que se obtuvieron del proceso de entrenamiento y evaluación, como la exactitud del modelo

  • Los artefactos que descienden de este modelo, como los resultados de las predicciones por lotes

Puedes usar estos metadatos para responder preguntas como las siguientes:

  • ¿Por qué una ejecución de canalización determinada produjo un modelo muy exacto?

  • ¿Qué ejecución de canalización produjo el modelo más exacto y qué hiperparámetros se usaron para entrenar el modelo?

  • Según los pasos en la canalización, es posible que puedas responder las preguntas sobre la administración del sistema. Por ejemplo, puedes usar los metadatos para determinar qué versión de tu modelo estuvo en producción en un momento determinado.

Para ver y analizar el linaje de artefactos de canalización, puedes usar Vertex ML Metadata o Dataplex.

En la siguiente tabla, se describen las diferencias entre Vertex ML Metadata y Dataplex:

Atributo Vertex ML Metadata Dataplex
Tipos de metadatos de canalización capturados Todos los artefactos de entrada y salida que genera una ejecución de canalización Artefactos de entrada y salida que se pueden asignar a nombres completamente calificados (FQN) compatibles con Dataplex, por lo general, mediante componentes de canalización de Google Cloud
Datos geográficos Lecturas de una sola región Lecturas globales, es decir, en varias regiones
Proyectos Lecturas de un solo proyecto Lecturas en toda la organización en varios proyectos
Servicios integrados Integrado en Vertex AI Pipelines, Vertex AI Experiments, Vertex AI Model Registry y conjuntos de datos Está integrado en varios productos de Google Cloud, como Vertex AI, BigQuery, Cloud Composer y Dataproc.
¿Habilitar? No, siempre está activada. Se requiere la habilitación para cada almacén de metadatos de AA.

Asigna artefactos de Vertex ML Metadata a Dataplex

Para asignar artefactos de Vertex ML Metadata a FQN en Dataplex, debes hacer lo siguiente:

  • Usa los componentes de canalización de Google Cloud mientras creas modelos de Vertex AI y conjuntos de datos administrados.

  • Usa títulos de esquema personalizados (google.VertexDataset o google.VertexModel) mientras especificas el modelo o el nombre del recurso del conjunto de datos administrado en el campo metadata, como se ilustra en el siguiente ejemplo:

{
  "name": "projects/example-project/locations/us-central1/metadataStores/default/artifacts/example-artifact",
  "displayName": "My dataset",
  "uri": "https://us-central1-aiplatform.googleapis.com/v1/projects/example-project/locations/us-central1/datasets/example-dataset",
   ...
  "schemaTitle": "google.VertexDataset",
  "schemaVersion": "0.0.1",
  "metadata": {
    "resourceName": "projects/example-project/locations/us-central1/datasets/example-dataset"
  }
}

Analiza el linaje de artefactos de canalización con Vertex ML Metadata

Cuando ejecutas una canalización con Vertex AI Pipelines, los artefactos y parámetros de la ejecución de tu canalización se almacenan con Vertex ML Metadata. Vertex ML Metadata te permiten analizar el linaje de los artefactos de tu canalización con más facilidad, ya que evitan la dificultad de realizar un seguimiento de los metadatos de la canalización.

Si es la primera vez que usas los metadatos de AA de Vertex, lee la introducción a Vertex ML Metadata.

Sigue estas instrucciones para ver el gráfico de un artefacto de canalización con Vertex ML Metadata:

  1. En la sección Vertex AI de la consola de Google Cloud, ve a la página Metadatos.

    Ir a metadatos

    En la página de metadatos, se enumeran los artefactos que se crearon en el almacén de metadatos predeterminado.

  2. En la lista desplegable Región, selecciona la región en la que se creó la ejecución.

  3. Haz clic en el Nombre visible de un artefacto para ver el gráfico de linaje.

    Aparece un gráfico estático que muestra los artefactos y las ejecuciones que forman parte de este gráfico de linaje.

  4. Haz clic en un artefacto o una ejecución para obtener más información.

Analiza el linaje de artefactos de canalización con Dataplex

Dataplex Data Catalog descubre los metadatos de los recursos de Google Cloud, que incluyen artefactos de Vertex AI Pipelines, como los modelos de Vertex AI, los conjuntos de datos administrados y otros recursos de Google Cloud detectables en Data Catalog. Puedes descubrir estos artefactos mediante la función de búsqueda de metadatos de Data Catalog y ver sus gráficos de linaje.

Para obtener más información sobre la función de búsqueda de metadatos de Data Catalog, consulta Busca y visualiza recursos de datos con Data Catalog.

Sigue estas instrucciones para ver el gráfico de un artefacto de canalización en Dataplex:

  1. Para iniciar una búsqueda de Dataplex en la consola de Google Cloud, ve a la página Búsqueda de Dataplex.

    Ir a Búsqueda de Dataplex

  2. Usa los filtros para buscar los artefactos. Por ejemplo, puedes usar el filtro Tipos de datos para especificar el tipo de artefacto, como modelo, conjunto de datos o tabla de BigQuery. Para obtener más información sobre la búsqueda de Data Catalog, consulta Busca recursos de datos.

    También puedes definir tu consulta en el campo de búsqueda.

  3. Para ver el linaje de un artefacto, haz clic en el nombre del artefacto y, luego, en la pestaña Linaje.

    En el gráfico de linaje, los procesos de Vertex AI están precedidos por Ícono de linaje de Vertex AI. Esto incluye artefactos de canalización, componentes de canalización y plantillas de canalización.

    • Para ver los detalles de un proceso, haz clic en el proceso en el gráfico de linaje.

    • Para los procesos basados en tareas de canalización de ejecuciones de canalizaciones, puedes hacer lo siguiente:

      • Para ver la ejecución de la canalización en Vertex AI, haz clic en Abrir en Vertex AI en la pestaña Detalles. Para ver los detalles del entorno de ejecución de una ejecución de canalización, como los estados, las marcas de tiempo y los atributos, haz clic en Más. Para ver la ejecución de la canalización en Vertex AI, haz clic en Abrir en Vertex AI.

    • Para los procesos basados en una plantilla de canalización, puedes hacer lo siguiente:

      • Para ver los detalles de la plantilla en Vertex AI, haz clic en Abrir en Vertex AI en la pestaña Detalles.

      • Consulta la lista de tareas de canalización creadas en las ejecuciones de canalizaciones en la pestaña Ejecuciones. Para ver los detalles de la plantilla de canalización en Vertex AI, haz clic en Más y, luego, en Abrir en Vertex AI.

¿Qué sigue?