Usa el linaje de datos con sistemas de Google Cloud

Habilitar el linaje de datos en un proyecto de Google Cloud para comenzar a hacer un seguimiento automático de la información del linaje para los sistemas compatibles

Precaución: El linaje de datos se habilita por proyecto. Después de habilitar la API de Data Lineage, la información de linaje se informa de forma automática para varios servicios de Google Cloud según su control de linaje a nivel del producto. Para obtener más detalles, consulta Consideraciones del linaje de datos.

Funciones y permisos

Data Catalog hace un seguimiento de la información del linaje automáticamente cuando habilitas la API de Data Lineage. No necesitas ningún rol de administrador o editor para capturar el linaje de tus recursos de datos y acceder a él en la consola de Google Cloud. Son suficientes las funciones de visualizador estándar, como se describe en la sección Administración de identidades y accesos. Para obtener más información sobre cómo otorgar funciones, consulta Administra el acceso. Puedes asignar una función en un nivel superior de organización o carpeta (consulta Otorga o revoca una sola función).

Habilita el linaje de datos

1. En la consola de Google Cloud, en la página del selector de proyectos, elige el proyecto que contiene los recursos para los que deseas realizar un seguimiento del linaje.

   Ir al selector de proyectos

2. Habilitar la API de Data Lineage y la API de Data Catalog

   Habilita las APIs

Ver gráficos de linaje en la IU de Dataplex

El gráfico de visualización del linaje muestra las relaciones entre los recursos de tu proyecto y los procesos que los crearon. Puedes ver la información del linaje de datos en forma de visualización gráfica en la consola de Google Cloud o recuperarla desde la API de Data Lineage en forma de datos JSON.

Nota: Es posible que el linaje de datos tarde un poco en mostrar un gráfico. Si no ves un gráfico de linaje de inmediato, espera unos minutos.

1. Abre la página de búsqueda de Dataplex y busca el recurso para el que quieres ver la información del linaje.

   Abrir la página de búsqueda de Dataplex

   Para obtener más información, consulta Cómo buscar recursos de datos.

2. En la página de detalles de entrada, selecciona la pestaña Linaje.

Figura 1: Ejemplo de un gráfico de visualización de linaje en la IU de Dataplex.

Selecciona los botones del proceso o de la fuente de datos para mostrar el panel de detalles.

Visualiza gráficos de linaje en la IU de BigQuery

Puedes ver el gráfico de linaje directamente en la IU de BigQuery.

1. En la consola de Google Cloud, ve a la página de BigQuery.

   Abrir la página de BigQuery

2. Abre la tabla en la que deseas ver el linaje de datos.
3. Haz clic en la pestaña Linaje.
4. Selecciona los botones del proceso o de la fuente de datos para mostrar el panel de detalles.

Visualiza gráficos de linaje en la IU de Vertex AI

Vista previa — data lineage

Esta función está sujeta a las "Condiciones de las Ofertas de Fase Previa a la DG" de la sección Condiciones Generales del Servicio de las Condiciones Específicas del Servicio. Las funciones de fase previa a la DG están disponibles “tal cual” y podrían tener asistencia limitada. Para obtener más información, consulta las descripciones de la etapa de lanzamiento.

Los sistemas como Vertex AI Pipelines generan datos de linaje para los modelos y conjuntos de datos de Vertex AI. Puedes ver el gráfico de linaje directamente en la IU de Vertex AI.

Nota: Para ver el linaje de las operaciones de Vertex AI, como los datos de entrenamiento, prueba y evaluación usados o los hiperparámetros aplicados, consulta Haz un seguimiento del linaje de artefactos de canalización.

Visualiza gráficos de linaje para un conjunto de datos administrado en Vertex AI

Para ver el gráfico de linaje de un conjunto de datos, sigue estas instrucciones:

1. En la consola de Google Cloud, ve a la página Conjuntos de datos.

   Abrir la página Conjuntos de datos

2. Haz clic en el conjunto de datos del que quieres ver el linaje de datos.
3. Haz clic en la pestaña Linaje.
4. Selecciona los botones del proceso o de la fuente de datos para mostrar el panel de detalles.

Nota: En el gráfico de linaje, los procesos de Vertex AI están precedidos por el . Estos procesos incluyen componentes y plantillas de Vertex AI Pipelines, y artefactos, conjuntos de datos y modelos de Vertex ML Metadata. Si el proceso está catalogado en Data Catalog con un nombre de dominio completamente calificado (FQN), puedes hacer clic en la entrada del gráfico de linaje para ver los detalles. Como alternativa, para ver los detalles del gráfico de linaje en Vertex AI, haz clic en Abrir en Vertex AI en el panel Detalles.

Visualiza gráficos de linaje de un modelo en Vertex AI

Para ver el gráfico de linaje de un modelo, sigue estas instrucciones:

1. En la consola de Google Cloud, ve a la página Model Registry.

   Abrir la página Registro de modelos

2. Haz clic en el modelo del que deseas ver el linaje de datos.
3. Haz clic en la pestaña Linaje.
4. Selecciona los botones del proceso o de la fuente de datos para mostrar el panel de detalles.

Nota: En el gráfico de linaje, los procesos de Vertex AI están precedidos por el . Estos procesos incluyen componentes y plantillas de Vertex AI Pipelines, y artefactos, conjuntos de datos y modelos de Vertex ML Metadata. Si el proceso está catalogado en Data Catalog con un nombre de dominio completamente calificado (FQN), puedes hacer clic en la entrada del gráfico de linaje para ver los detalles. Como alternativa, para ver los detalles del gráfico de linaje en Vertex AI, haz clic en Abrir en Vertex AI en el panel Detalles.

¿Qué sigue?

• Realiza un seguimiento del linaje de datos de los trabajos de consulta y copia de una tabla de BigQuery.

• Obtén más información sobre el Modelo de información del linaje de datos.