Usa el linaje de datos con sistemas de Google Cloud

El linaje de datos muestra las relaciones entre los recursos de tu proyecto y los procesos que los crearon. Puedes ver la información del linaje de datos en forma de visualización de gráfico o vista de lista en la consola de Google Cloud, o bien recuperarla de la API de Data Lineage en forma de datos JSON.

El linaje se captura en todos los proyectos. Cuando veas el linaje que se genera desde varios proyectos, podrás ver la información del linaje agregado en cualquiera de los proyectos relevantes.

Precaución: El linaje de datos se habilita por proyecto, no por servicio. Después de habilitar la API de Data Lineage, la información de linaje se informa automáticamente para varios servicios de Google Cloud en el proyecto, según su control de linaje a nivel del producto. Para obtener más detalles, consulta Consideraciones sobre el linaje de datos.

Funciones y permisos

Para ver la información del linaje, pídele a tu administrador que te otorgue los roles de visualización que se describen en Roles predefinidos de linaje de datos. Debes tener acceso al proyecto en el que ves el linaje y a los proyectos en los que se registra.

Data Catalog realiza un seguimiento de la información de linaje automáticamente cuando habilitas la API de Data Lineage. No necesitas ningún rol de administrador ni editor para capturar el linaje de tus activos de datos.

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso. Puedes asignar un rol a un nivel superior de la carpeta o la organización (consulta Otorga o revoca un solo rol).

Habilita el linaje de datos

Habilita el linaje de datos para comenzar a hacer un seguimiento automático de la información del linaje de los sistemas compatibles. Debes habilitar la API de Data Lineage en el proyecto en el que ves el linaje y en los proyectos en los que se registra. Para obtener más información, consulta Tipos de proyectos.

1. Para capturar información de linaje, haz lo siguiente:

   1. En la página Selector de proyectos de la consola de Google Cloud, selecciona el proyecto en el que deseas registrar el linaje.

      Ir al Selector de proyectos

   2. Habilita la API de Data Lineage.

      Habilita la API de Data Lineage

   3. Repite los pasos anteriores para cada proyecto en el que quieras registrar el linaje.

2. En el proyecto en el que ves el linaje, habilita la API de Data Lineage y la API de Data Catalog.

   Habilitar las API

Consulta el linaje en la IU de Dataplex

Puedes ver la información del linaje de datos en la IU de Dataplex en forma de un gráfico o una lista.

Los gráficos de linaje representan la información que recopila la API de Data Lineage para una entrada en particular.

Figure 1. Ejemplo de un gráfico de visualización de linaje en la IU de Dataplex.

Nota: Es posible que el linaje de datos tarde un poco en mostrar un gráfico. Si no ves un gráfico de linaje de inmediato, espera unos minutos.

La vista de lista de linaje (versión preliminar) muestra información detallada del linaje de las entidades en una sola tabla que incluye información del linaje de las entidades con muchas conexiones.

Para ver el linaje, sigue estas instrucciones:

1. Abre la página de búsqueda de Dataplex y busca el activo del que quieres ver la información de linaje.

   Abre la página de búsqueda de Dataplex

   Para obtener más información, consulta Cómo buscar recursos de datos.

2. En la página de detalles de la entrada, selecciona la pestaña Linaje.

3. Selecciona los botones de proceso o fuente de datos para mostrar el panel de detalles.

4. Para ver la información de linaje ascendente o descendente de un recurso, haz clic en Expandir.

5. Para ver el linaje en la vista de lista en lugar de la vista de gráfico, haz clic en Lista.

Cómo ver el linaje en la IU de BigQuery

Puedes ver la información del linaje de datos en la IU de BigQuery en forma de un gráfico o una lista (Versión preliminar).

Para ver el linaje, sigue estas instrucciones:

1. En la consola de Google Cloud, ve a la página de BigQuery.

   Abrir la página de BigQuery

2. Abre la tabla de la que deseas ver el linaje de datos.

3. Haz clic en la pestaña Linaje.

4. Selecciona los botones de proceso o fuente de datos para mostrar el panel de detalles.

5. Para ver la información de linaje ascendente o descendente de un recurso, haz clic en Expandir.

6. Para ver el linaje en la vista de lista en lugar de la vista de gráfico, haz clic en Lista.

Cómo ver el linaje en la IU de Vertex AI

Los sistemas como Vertex AI Pipelines generan datos de linaje para los modelos y conjuntos de datos de Vertex AI. Puedes ver la información del linaje de datos en la IU de Vertex AI en forma de gráfico o lista (versión preliminar).

Nota: Para ver el linaje de las operaciones de Vertex AI, como los datos de entrenamiento, prueba y evaluación que se usaron o los hiperparámetros que se aplicaron, consulta Cómo hacer un seguimiento del linaje de los artefactos de canalización.

Cómo ver el linaje de un conjunto de datos administrado en Vertex AI

Para ver el linaje de un conjunto de datos, sigue estas instrucciones:

1. En la consola de Google Cloud, ve a la página Conjuntos de datos.

   Abre la página Conjuntos de datos

2. Haz clic en el conjunto de datos del que deseas ver el linaje de datos.

3. Haz clic en la pestaña Linaje.

4. Selecciona los botones de proceso o fuente de datos para mostrar el panel de detalles.

5. Para ver la información de linaje ascendente o descendente de un recurso, haz clic en Expandir.

6. Para ver el linaje en la vista de lista en lugar de la vista de gráfico, haz clic en Lista.

Nota: En el gráfico de linaje, los procesos de Vertex AI están precedidos por . Estos procesos incluyen los componentes y las plantillas de Vertex AI Pipelines, y los artefactos, los conjuntos de datos y los modelos de Vertex ML Metadata. Si el proceso está catalogado en Data Catalog con un nombre de dominio completamente calificado (FQDN), puedes hacer clic en la entrada del gráfico de linaje para ver sus detalles. Como alternativa, para ver los detalles del gráfico de linaje en Vertex AI, haz clic en Open in Vertex AI en el panel Details.

Cómo ver el linaje de un modelo en Vertex AI

Para ver el linaje de un modelo, sigue estas instrucciones:

1. En la consola de Google Cloud, ve a la página Model Registry.

   Abre la página Model Registry

2. Haz clic en el modelo del que deseas ver el linaje de datos.

3. Haz clic en la pestaña Linaje.

4. Selecciona los botones de proceso o fuente de datos para mostrar el panel de detalles.

5. Para ver la información de linaje ascendente o descendente de un recurso, haz clic en Expandir.

6. Para ver el linaje en la vista de lista en lugar de la vista de gráfico, haz clic en Lista.

Nota: En el gráfico de linaje, los procesos de Vertex AI están precedidos por . Estos procesos incluyen los componentes y las plantillas de Vertex AI Pipelines, y los artefactos, los conjuntos de datos y los modelos de Vertex ML Metadata. Si el proceso está catalogado en Data Catalog con un nombre de dominio completamente calificado (FQN), puedes hacer clic en la entrada del gráfico de linaje para ver sus detalles. Como alternativa, para ver los detalles del gráfico de linaje en Vertex AI, haz clic en Open in Vertex AI en el panel Details.

¿Qué sigue?

• Realiza un seguimiento del linaje de datos de una copia de tabla de BigQuery y trabajos de consulta.

• Obtén información sobre el modelo de información de linaje de datos.