Usa el linaje de datos con los sistemas de Google Cloud

Habilita el linaje de datos en un proyecto de Google Cloud para comenzar a hacer un seguimiento automático de la información de linaje para los sistemas compatibles.

Precaución: El linaje de datos se habilita por proyecto. Después de habilitar la API de Data Lineage, la información de linaje se informa automáticamente para varios servicios de Google Cloud según su control de linaje a nivel de producto. Para obtener más detalles, consulta Consideraciones del linaje de datos.

Funciones y permisos

Data Catalog hace un seguimiento de la información de linaje automáticamente cuando habilitas la API de Data Lineage. No necesitas ningún rol de administrador o editor para capturar el linaje de tus recursos de datos y acceder a él en la consola de Google Cloud. Las funciones de visualizador estándar, como se describe en la sección Administración de identidades y accesos, son suficientes. Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso. Puedes asignar una función en un nivel superior de la organización o la carpeta (consulta Otorga o revoca una sola función).

Habilita el linaje de datos

1. En la consola de Google Cloud, en la página del selector de proyectos, selecciona el proyecto que contiene los recursos para los que deseas hacer un seguimiento del linaje.

   Ir al selector de proyectos

2. Habilitar la API de Data Lineage y la API de Data Catalog

   Habilita las APIs

Visualiza gráficos de linaje en la IU de Dataplex

El gráfico de visualización de linaje muestra las relaciones entre los recursos de tu proyecto y los procesos que los crearon. Puedes ver la información del linaje de datos en forma de visualización de grafos en la consola de Google Cloud o recuperarla de la API de Data Lineage en forma de datos JSON.

Nota: Es posible que el linaje de datos tarde un poco en mostrar un gráfico. Si no ves un gráfico de linaje de inmediato, espera unos minutos.

1. Abre la página de búsqueda de Dataplex y busca el recurso del que deseas ver la información del linaje.

   Abrir la página de búsqueda de Dataplex

   Para obtener más información, consulta Cómo buscar recursos de datos.

2. En la página de detalles de la entrada, selecciona la pestaña Linaje.

Figura 1: Ejemplo de un gráfico de visualización de linaje en la IU de Dataplex.

Selecciona los botones de proceso o fuente de datos para mostrar el panel de detalles.

Ver gráficos de linaje en la IU de BigQuery

Puedes ver el gráfico de linaje directamente en la IU de BigQuery.

1. En la consola de Google Cloud, ve a la página de BigQuery.

   Abrir la página de BigQuery

2. Abre la tabla en la que quieres ver el linaje de datos.
3. Haz clic en la pestaña Linaje.
4. Selecciona los botones de proceso o fuente de datos para mostrar el panel de detalles.

Visualiza gráficos de linaje en la IU de Vertex AI

Vista previa — data lineage

Esta función está sujeta a las "Condiciones de las Ofertas de Fase Previa a la DG" de la sección Condiciones Generales del Servicio de las Condiciones Específicas del Servicio. Las funciones de fase previa a la DG están disponibles “tal cual” y podrían tener asistencia limitada. Para obtener más información, consulta las descripciones de la etapa de lanzamiento.

Los sistemas como Vertex AI Pipelines generan datos de linaje para modelos y conjuntos de datos de Vertex AI. Puedes ver el gráfico de linaje directamente en la IU de Vertex AI.

Nota: Para ver el linaje de las operaciones de Vertex AI, como los datos de entrenamiento, prueba y evaluación usados o los hiperparámetros aplicados, consulta Haz un seguimiento del linaje de artefactos de canalizaciones.

Visualiza gráficos de linaje de un conjunto de datos administrado en Vertex AI

Para ver el gráfico de linaje de un conjunto de datos, sigue estas instrucciones:

1. En la consola de Google Cloud, ve a la página Conjuntos de datos.

   Abrir la página Conjuntos de datos

2. Haz clic en el conjunto de datos del que deseas ver el linaje de datos.
3. Haz clic en la pestaña Linaje.
4. Selecciona los botones de proceso o fuente de datos para mostrar el panel de detalles.

Nota: En el gráfico de linaje, los procesos de Vertex AI están precedidos por . Estos procesos incluyen los componentes y las plantillas de Vertex AI Pipelines, y artefactos, conjuntos de datos y modelos de Vertex ML Metadata. Si el proceso está catalogado en Data Catalog con un nombre de dominio completamente calificado (FQN), puedes hacer clic en la entrada del gráfico de linaje para ver sus detalles. Como alternativa, para ver los detalles del gráfico de linaje en Vertex AI, haz clic en Abrir en Vertex AI en el panel Detalles.

Visualiza gráficos de linaje de un modelo en Vertex AI

Para ver el gráfico de linaje de un modelo, sigue estas instrucciones:

1. En la consola de Google Cloud, ve a la página Model Registry.

   Abrir la página Registro de modelos

2. Haz clic en el modelo del que deseas ver el linaje de datos.
3. Haz clic en la pestaña Linaje.
4. Selecciona los botones de proceso o fuente de datos para mostrar el panel de detalles.

Nota: En el gráfico de linaje, los procesos de Vertex AI están precedidos por . Estos procesos incluyen los componentes y las plantillas de Vertex AI Pipelines, y artefactos, conjuntos de datos y modelos de Vertex ML Metadata. Si el proceso está catalogado en Data Catalog con un nombre de dominio completamente calificado (FQN), puedes hacer clic en la entrada del gráfico de linaje para ver sus detalles. Como alternativa, para ver los detalles del gráfico de linaje en Vertex AI, haz clic en Abrir en Vertex AI en el panel Detalles.

¿Qué sigue?

• Haz un seguimiento del linaje de datos para trabajos de consulta y copia de tablas de BigQuery.

• Obtén más información sobre el modelo de información del linaje de datos.