El linaje de datos se habilita por proyecto. Esto significa que una vez que habilites la API de Data Lineage, la información de linaje se pueden informar automáticamente para múltiples sistemas según su control del linaje a nivel de producto.
El seguimiento automático del linaje es compatible con los siguientes sistemas:
| Sistema | Controles de linaje disponibles |
|---|---|
| BigQuery, Cloud Data Fusion |
No hay capacidad de configuración para restringir el seguimiento del linaje a solo Cloud Data Fusion o BigQuery cuando la API de Data Lineage está habilitada en un proyecto. |
| Cloud Composer | Cloud Composer usa el linaje de datos a nivel del entorno el control de integración. El linaje de datos se crea habilitado para todos los entornos nuevos de Cloud Composer, siempre que cumplan con y los requisitos de cumplimiento. Consulta Linaje de datos con Dataplex para más información. Para los entornos existentes, puedes habilitar o inhabilitar integración del linaje de datos en la configuración del entorno. |
| Dataproc | Los trabajos de Dataproc Spark pueden capturar eventos de linaje y publicarlos en la API de Data Lineage. Consulta Integración de Dataproc del linaje de datos para obtener más información. |
| Vertex AI | El linaje de datos se habilita automáticamente para los artefactos y parámetros de Vertex AI, como modelos, conjuntos de datos, plantillas de canalización y componentes. El linaje de una canalización incluye factores que contribuyeron a su creación, así como artefactos y metadatos derivados posteriores. Consulta Realiza un seguimiento del linaje de los artefactos de canalización para obtener más información. |
Impacto en la facturación
Cuando habilites la API de Data Lineage en un proyecto, revisa el impacto en tus cargos de facturación porque la API de Data Lineage está habilitada por proyecto (consulta la sección anterior para obtener más detalles).
En el caso de multirregiones, como la Unión Europea (UE) o Asia (asia), y Estados Unidos (us), y para BigQuery Omni, el procesamiento de linaje se distribuye a regiones específicas y los costos dependen de las regiones se realiza el procesamiento (consulta los ejemplos de precios de Data Catalog).
Cumplimiento del linaje de datos
- El linaje de datos registra metadatos sobre el movimiento de datos, pero no captura los datos en sí. Consulta el modelo de información de linaje de datos y Referencia de la API de Data Lineage para obtener detalles sobre los campos que están incluidos en los metadatos.
- El linaje de datos como parte de Dataplex ofrece compatibilidad con VPC-SC.
- Actualmente, Dataplex no ofrece la capacidad de usar Claves de encriptación administradas por el cliente para proteger los metadatos del linaje recolectados.
Limitaciones del linaje de datos
Cuando seleccionas un nodo en el gráfico de linaje, el panel lateral de detalles del nodo estará vacío en los siguientes casos:
- Que los recursos estén ubicados en otra organización
- El usuario no es miembro de la organización que aloja el recurso.