Usa el linaje de datos con sistemas de Google Cloud

El linaje de datos muestra las relaciones entre los recursos de tu proyecto y los procesos que los crearon.

Puedes ver la información del linaje de datos en la consola de Google Cloud en los siguientes formatos:

• Gráfico de linaje: Muestra el linaje que está upstream o downstream de una entrada raíz única. Para obtener más información, consulta Gráfico de linaje.
• Visualización de la ruta de linaje (Versión preliminar): Muestra los vínculos de linaje entre dos recursos seleccionados. Para obtener más información, consulta Visualización de la ruta de linaje.
• Vista de lista de linaje (Versión preliminar): Muestra información detallada del linaje de los recursos en una sola tabla que incluye información del linaje de los recursos con muchas conexiones. Para obtener más información, consulta Vista de lista de linaje.

Nota: Según el volumen de datos que se procesan, el linaje de datos tarda en mostrar un gráfico. En la mayoría de los casos, tarda tres horas, y en algunos, hasta 24 horas.

También puedes recuperar información de linaje de la API de Data Lineage en forma de datos JSON.

El linaje se captura en todos los proyectos. Cuando veas el linaje que se genera desde varios proyectos, podrás ver la información del linaje agregado en cualquiera de los proyectos relevantes.

Precaución: El linaje de datos se habilita por proyecto, no por servicio. Después de habilitar la API de Data Lineage, la información de linaje se informa automáticamente para varios Google Cloud servicios en el proyecto, según su control de linaje a nivel del producto. Para obtener más detalles, consulta Consideraciones sobre el linaje de datos.

Funciones y permisos

Para ver la información del linaje, pídele a tu administrador que te otorgue los roles de visualización que se describen en Roles predefinidos para el linaje de datos. Debes tener acceso al proyecto en el que ves el linaje y a los proyectos en los que se registra.

Dataplex realiza un seguimiento de la información de linaje automáticamente cuando habilitas la API de Data Lineage. No necesitas ningún rol de administrador ni editor para capturar el linaje de tus activos de datos.

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso. Puedes asignar un rol a un nivel superior de la carpeta o la organización (consulta Otorga o revoca un solo rol).

Habilita el linaje de datos

Habilita el linaje de datos para comenzar a hacer un seguimiento automático de la información del linaje de los sistemas compatibles. Debes habilitar la API de Data Lineage en el proyecto en el que ves el linaje y en los proyectos en los que se registra. Para obtener más información, consulta Tipos de proyectos.

1. Para capturar información de linaje, haz lo siguiente:

   1. En la página Selector de proyectos de la consola de Google Cloud, selecciona el proyecto en el que deseas registrar el linaje.

      Ir al Selector de proyectos

   2. Habilita la API de Data Lineage.

      Habilita la API de Data Lineage

   3. Repite los pasos anteriores para cada proyecto en el que quieras registrar el linaje.

2. En el proyecto en el que ves el linaje, habilita la API de Data Lineage y la API de Dataplex.

   Habilitar las API

Consultar el linaje en Dataplex

Puedes ver la información del linaje de datos en la interfaz web de Dataplex.

Para ver el linaje, sigue estas instrucciones:

1. Abre la página de búsqueda de Dataplex Catalog y busca el activo del que deseas ver la información del linaje.

   Ir a Búsqueda

   Para obtener más información, consulta Cómo buscar recursos en Dataplex Catalog.

2. En la página de detalles de la entrada, selecciona la pestaña Linaje.

3. Para ver el gráfico de linaje, haz clic en Graph.

   • Selecciona los botones de proceso o fuente de datos para mostrar el panel de detalles.

   • Para ver la información de linaje ascendente o descendente de un recurso, haz clic en Expandir.

4. Para ver el linaje en la vista de lista, haz clic en List.

5. Para ver la visualización de la ruta de linaje, haz clic en List y, luego, selecciona el recurso de destino en la tabla de resultados. En el panel de detalles, haz clic en Destino y, luego, en Visualizar linaje.

Cómo ver el linaje en BigQuery

Puedes ver la información del linaje de datos en la interfaz web de BigQuery.

Para ver el linaje, sigue estas instrucciones:

1. En la consola de Google Cloud, ve a la página de BigQuery.

   Abrir la página de BigQuery

2. Abre la tabla de la que deseas ver el linaje de datos.

3. Haz clic en la pestaña Linaje.

4. Para ver el gráfico de linaje, haz clic en Graph.

   • Selecciona los botones de proceso o fuente de datos para mostrar el panel de detalles.

   • Para ver la información de linaje ascendente o descendente de un recurso, haz clic en Expandir.

5. Para ver el linaje en la vista de lista, haz clic en List.

6. Para ver la visualización de la ruta de linaje, haz clic en List y, luego, selecciona el recurso de destino en la tabla de resultados. En el panel de detalles, haz clic en Destino y, luego, en Visualizar linaje.

Cómo ver el linaje en Vertex AI

Los sistemas como Vertex AI Pipelines generan datos de linaje para los modelos y conjuntos de datos de Vertex AI. Puedes ver la información del linaje de datos en la interfaz web de la IU de Vertex AI.

Nota: Para ver el linaje de las operaciones de Vertex AI, como los datos de entrenamiento, prueba y evaluación que se usaron o los hiperparámetros que se aplicaron, consulta Cómo hacer un seguimiento del linaje de los artefactos de canalización.

Cómo ver el linaje de un conjunto de datos administrado en Vertex AI

Para ver el linaje de un conjunto de datos, sigue estas instrucciones:

1. En la consola de Google Cloud, ve a la página Conjuntos de datos.

   Abre la página Conjuntos de datos

2. Haz clic en el conjunto de datos del que deseas ver el linaje de datos.

3. Haz clic en la pestaña Linaje.

4. Para ver el gráfico de linaje, haz clic en Graph.

   • Selecciona los botones de proceso o fuente de datos para mostrar el panel de detalles.

   • Para ver la información de linaje ascendente o descendente de un recurso, haz clic en Expandir.

5. Para ver el linaje en la vista de lista, haz clic en List.

6. Para ver la visualización de la ruta de linaje, haz clic en List y, luego, selecciona el recurso de destino en la tabla de resultados. En el panel de detalles, haz clic en Destino y, luego, en Visualizar linaje.

Nota: En el gráfico de linaje, los procesos de Vertex AI están precedidos por . Estos procesos incluyen los componentes y las plantillas de Vertex AI Pipelines, y los artefactos, los conjuntos de datos y los modelos de Vertex ML Metadata. Si el proceso está catalogado en Dataplex Catalog con un nombre de dominio completamente calificado (FQN), puedes hacer clic en la entrada del gráfico de linaje para ver sus detalles. Como alternativa, para ver los detalles del gráfico de linaje en Vertex AI, haz clic en Abrir en Vertex AI en el panel Detalles.

Cómo ver el linaje de un modelo en Vertex AI

Para ver el linaje de un modelo, sigue estas instrucciones:

1. En la consola de Google Cloud, ve a la página Model Registry.

   Abre la página Model Registry

2. Haz clic en el modelo del que deseas ver el linaje de datos.

3. Haz clic en la pestaña Linaje.

4. Para ver el gráfico de linaje, haz clic en Graph.

   • Selecciona los botones de proceso o fuente de datos para mostrar el panel de detalles.

   • Para ver la información de linaje ascendente o descendente de un recurso, haz clic en Expandir.

5. Para ver el linaje en la vista de lista, haz clic en List.

6. Para ver la visualización de la ruta de linaje, haz clic en List y, luego, selecciona el recurso de destino en la tabla de resultados. En el panel de detalles, haz clic en Destino y, luego, en Visualizar linaje.

Nota: En el gráfico de linaje, los procesos de Vertex AI están precedidos por . Estos procesos incluyen los componentes y las plantillas de Vertex AI Pipelines, y los artefactos, los conjuntos de datos y los modelos de Vertex ML Metadata. Si el proceso está catalogado en Dataplex Catalog con un nombre de dominio completamente calificado (FQN), puedes hacer clic en la entrada del gráfico de linaje para ver sus detalles. Como alternativa, para ver los detalles del gráfico de linaje en Vertex AI, haz clic en Abrir en Vertex AI en el panel Detalles.

¿Qué sigue?

• Realiza un seguimiento del linaje de datos de una copia de tabla de BigQuery y trabajos de consulta.

• Obtén información sobre el modelo de información de linaje de datos.