Usa el linaje de datos con sistemas de Google Cloud

El linaje de datos muestra las relaciones entre los recursos de tu proyecto y los procesos que los crearon. Puedes ver información del linaje de datos en forma de una visualización gráfica o de lista en la consola de Google Cloud, o recuperarla desde API de Data Lineage en forma de datos JSON.

El linaje se captura en todos los proyectos. Cuando veas el linaje que se genera desde varios proyectos, puedes ver la información de linaje agregada en cualquier de los proyectos relevantes.

Precaución: El linaje de datos se habilita por proyecto, no por servicio. Después de habilitar la API de Data Lineage, la información de linaje se informa automáticamente para varios servicios de Google Cloud en el proyecto, según su control de linaje a nivel del producto. Para obtener más detalles, consulta Consideraciones del linaje de datos.

Funciones y permisos

Para ver la información del linaje, pídele a tu administrador que te otorgue roles de visualizador como se describe en Roles predefinidos de linaje de datos. Debes tener acceso al proyecto en el que ves el linaje y a los proyectos en los que se registra.

Data Catalog hace un seguimiento de la información del linaje automáticamente cuando lo habilitas la API de Data Lineage. No necesitas ningún rol de administrador o editor para capturar el linaje de tu y recursos de datos.

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso. Puedes asignar un rol a un nivel superior de la organización o la carpeta (consulta Otorgar o revocar un solo rol).

Habilita el linaje de datos

Habilitar el linaje de datos para comenzar a hacer un seguimiento automático del linaje información de sistemas compatibles. Debes habilitar la API de Data Lineage en el proyecto en el que ves y los proyectos en los que se registra. Para obtener más información, consulta Tipos de proyectos.

1. Para capturar información de linaje, haz lo siguiente:

   1. En la consola de Google Cloud, en el selector de proyectos selecciona el proyecto en el que deseas registrar el linaje.

      Ir al Selector de proyectos

   2. Habilitar la API de Data Lineage

      Habilita la API de Data Lineage

   3. Repite los pasos anteriores para cada proyecto en el que quieras registrar el linaje.

2. En el proyecto donde ves el linaje, habilita la API de Data Lineage. y la API de Data Catalog.

   Habilitar las API

Consulta el linaje en la IU de Dataplex

Puedes ver la información del linaje de datos en la IU de Dataplex en forma de un gráfico o una lista.

Los gráficos de linaje representan la información que recopila la API de Data Lineage para una entrada en particular.

Figure 1. Ejemplo de un gráfico de visualización de linaje en la IU de Dataplex.

Nota: Es posible que el linaje de datos tarde un poco en mostrar un gráfico. Si no ves un gráfico de linaje de inmediato, espera unos minutos.

La vista de lista de linaje (versión preliminar) muestra información detallada del linaje de las entidades en una sola tabla que incluye información del linaje de las entidades con muchas conexiones.

Para ver el linaje, sigue estas instrucciones:

1. Abre la página de búsqueda de Dataplex y busca el recurso para el cual quieres ver la información del linaje.

   Abre la página de búsqueda de Dataplex

   Para obtener más información, consulta Cómo buscar recursos de datos.

2. En la página de detalles de la entrada, selecciona la pestaña Linaje.

3. Selecciona los botones de proceso o fuente de datos para mostrar el panel de detalles.

4. Para ver información de linaje upstream o downstream para un recurso, haz clic en Expandir.

5. Para ver el linaje en la vista de lista en lugar de la vista de gráfico, haz clic en Lista.

Cómo ver el linaje en la IU de BigQuery

Puedes ver la información del linaje de datos en la IU de BigQuery en la forma de un gráfico o una lista (Vista previa)

Para ver el linaje, sigue estas instrucciones:

1. En la consola de Google Cloud, ve a la página de BigQuery.

   Abrir la página de BigQuery

2. Abre la tabla de la que deseas ver el linaje de datos.

3. Haz clic en la pestaña Linaje.

4. Selecciona los botones de proceso o fuente de datos para mostrar el panel de detalles.

5. Para ver información de linaje upstream o downstream para un recurso, haz clic en Expandir.

6. Para ver el linaje en la vista de lista en lugar de la vista de gráfico, haz clic en Lista.

Cómo ver el linaje en la IU de Vertex AI

Sistemas como Vertex AI Pipelines generan datos de linaje para los modelos y conjuntos de datos de Vertex AI. Puedes ver la información del linaje de datos en la IU de Vertex AI en forma de gráfico o lista (versión preliminar).

Nota: Para ver el linaje de las operaciones de Vertex AI, como los datos de entrenamiento, prueba y evaluación que se usaron o los hiperparámetros que se aplicaron, consulta Cómo hacer un seguimiento del linaje de los artefactos de canalización.

Cómo ver el linaje de un conjunto de datos administrado en Vertex AI

Para ver el linaje de un conjunto de datos, sigue estas instrucciones:

1. En la consola de Google Cloud, ve a la página Conjuntos de datos.

   Abrir la página Conjuntos de datos

2. Haz clic en el conjunto de datos del que quieres ver el linaje de datos.

3. Haz clic en la pestaña Linaje.

4. Selecciona los botones de proceso o fuente de datos para mostrar el panel de detalles.

5. Para ver información de linaje upstream o downstream para un recurso, haz clic en Expandir.

6. Para ver el linaje en la vista de lista en lugar de la vista de gráfico, haz clic en Lista.

Nota: En el gráfico de linaje, los procesos de Vertex AI están precedidos por Estos procesos incluyen componentes y plantillas de Vertex AI Pipelines y, Artefactos, conjuntos de datos y modelos de Vertex ML Metadata. Si el proceso es catalogado en Data Catalog con un nombre de dominio completamente calificado (FQN) puedes hacer clic en la entrada del gráfico de linaje para ver sus detalles. Por otro lado, Para ver los detalles del gráfico de linaje en Vertex AI, haz clic en Abrir en Vertex AI en el panel Detalles.

Visualiza el linaje de un modelo en Vertex AI

Para ver el linaje de un modelo, sigue estas instrucciones:

1. En la consola de Google Cloud, ve a la página Model Registry.

   Abrir la página Registro de modelos

2. Haz clic en el modelo del que deseas ver el linaje de datos.

3. Haz clic en la pestaña Linaje.

4. Selecciona los botones de proceso o fuente de datos para mostrar el panel de detalles.

5. Para ver información de linaje upstream o downstream para un recurso, haz clic en Expandir.

6. Para ver el linaje en la vista de lista en lugar de la vista de gráfico, haz clic en Lista.

Nota: En el gráfico de linaje, los procesos de Vertex AI están precedidos por . Estos procesos incluyen los componentes y las plantillas de Vertex AI Pipelines, y los artefactos, los conjuntos de datos y los modelos de Vertex ML Metadata. Si el proceso es catalogado en Data Catalog con un nombre de dominio completamente calificado (FQN) puedes hacer clic en la entrada del gráfico de linaje para ver sus detalles. Por otro lado, Para ver los detalles del gráfico de linaje en Vertex AI, haz clic en Abrir en Vertex AI en el panel Detalles.

¿Qué sigue?

• Realiza un seguimiento del linaje de datos de los trabajos de consulta y copia de una tabla de BigQuery.

• Obtén más información sobre el Modelo de información del linaje de datos.