Consulta el linaje en el Catálogo universal de Dataplex
Organiza tus páginas con colecciones
Guarda y categoriza el contenido según tus preferencias.
En esta página, se describe cómo ver el linaje de datos que generan tus
canalizaciones de Cloud Data Fusion con otros movimientos de datos en Google Cloud,
para fines de descubrimiento y administración. Puedes
ver los gráficos de linaje de las fuentes de datos compatibles en la página
del catálogo universal de Dataplex en la consola o usar la API de Data Lineage
para recuperar registros completos de linaje de datos.
Complementos que admiten el linaje de datos del catálogo universal de Dataplex
Cloud Data Fusion y Dataplex Universal Catalog admiten el linaje a nivel del activo para los siguientes complementos:
Amazon S3
BigQuery
Receptor de tablas múltiples de BigQuery (versión 6.9.1 y versiones posteriores)
Spanner
Cloud Storage
Cloud SQL para MySQL
Cloud SQL para PostgreSQL
Dataplex Universal Catalog
FTP
Base de datos genérica
HTTP
MSSQL/SQL Server
Fuente de varias tablas de bases de datos (versión 6.9.1 y posteriores)
Para habilitar la visualización de los gráficos de linaje de Cloud Data Fusion en la página del catálogo universal de Dataplex en la consola, haz lo siguiente:
Otorga el rol de productor de eventos de linaje de datos (roles/datalineage.producer) a la cuenta de servicio administrada por Cloud Data Fusion, el agente de servicios de la API de Cloud Data Fusion.
El proceso varía si tu instancia se ejecuta en una versión anterior de
Cloud Data Fusion y el RBAC está habilitado.
6.10 o versiones posteriores, o sin RBAC
Si tu instancia de Cloud Data Fusion usa la versión 6.10.0 o una posterior, o
tu instancia usa una versión anterior y no está habilitada la RBAC, sigue estos
pasos:
En la consola de Google Cloud , ve a la página IAM.
Selecciona la casilla de verificación Incluir asignaciones de funciones proporcionadas por Google.
Selecciona la cuenta de servicio del Agente de servicio de la API de Cloud Data Fusion y haz clic en
edit
Editar.
Haz clic en Agregar otra función y selecciona el rol Productor de eventos de linaje de datos.
Haz clic en Guardar.
<6.10 con RBAC
Si tu instancia de Cloud Data Fusion usa una versión anterior a la 6.10.0 y está habilitada la RBAC, la cuenta de servicio no aparecerá en la lista de principales de la página de IAM. Debes ingresar el nombre de la cuenta de servicio de forma manual.
Para otorgar el rol requerido, sigue estos pasos:
En la consola de Google Cloud , ve a la página IAM.
En el campo Principales nuevas, ingresa la cuenta de servicio del agente de servicio de la API de Cloud Data Fusion. Usa el siguiente formato: datafusion-system@TENANT_PROJECT_ID.iam.gserviceaccount.com.
Reemplaza TENANT_PROJECT_ID por el ID del inquilino de tu instancia. Para ver el ID del proyecto del inquilino, ve a la página Instancias y haz clic en el nombre de la instancia para ver sus detalles.
Selecciona el rol Productor de eventos de linaje de datos.
Haz clic en Guardar.
Habilita el linaje de datos del catálogo universal de Dataplex en Cloud Data Fusion
En el caso de las instancias nuevas de Cloud Data Fusion, el linaje de datos del catálogo universal de Dataplex está desactivado de forma predeterminada. Si creaste la instancia antes del 27 de enero de 2024 con la versión 6.8.0 o una posterior, se activa de forma predeterminada después de completar los pasos que se indican en Antes de comenzar.
Habilita el linaje de datos del catálogo universal de Dataplex cuando crees una instancia
Console
Para habilitar el linaje de datos del Catálogo universal de Dataplex cuando creas una instancia, sigue estos pasos:
Ve a la página Instancias de Cloud Data Fusion y haz clic en Crear una instancia.
Cuando configures la instancia, expande la sección Opciones avanzadas y haz clic en Habilitar la integración del linaje de datos de Dataplex. Para obtener más información sobre la creación de instancias, consulta Cómo crear una instancia pública.
API de REST
Para habilitar el linaje de datos del catálogo universal de Dataplex cuando crees una instancia, configura la propiedad opcional dataplex_data_lineage_integration_enabled en true:
Para desactivarlo, establece la propiedad en "false" o omítela, ya que el linaje se desactiva de forma predeterminada cuando creas una instancia nueva.
Habilita o inhabilita el linaje de datos del Catálogo universal de Dataplex en una instancia existente
Console
Para habilitar o inhabilitar el linaje de datos del Catálogo universal de Dataplex en una instancia existente en
Cloud Data Fusion, sigue estos pasos:
Consulta los detalles de la instancia:
En la Google Cloud consola, ve a la página de Cloud Data Fusion.
Haz clic en Instancias y, luego, en el nombre de la instancia para ir a la página Detalles de la instancia.
En el campo Integración del linaje de datos de Dataplex, haz clic en Editar.
Habilita o inhabilita el linaje de datos del catálogo universal de Dataplex y, luego, haz clic en Guardar.
API de REST
Para habilitar el linaje de datos del catálogo universal de Dataplex en una instancia existente en
Cloud Data Fusion, establece la propiedad dataplex_data_lineage_integration_enabled
en true y, luego, incluye el valor del parámetro updateMask:
Para inhabilitar el linaje de datos del Catálogo universal de Dataplex en una instancia existente de Cloud Data Fusion, establece la propiedad dataplex_data_lineage_integration_enabled en false y, luego, incluye el valor del parámetro updateMask:
Consultar el linaje en el Catálogo universal de Dataplex tiene las siguientes limitaciones:
El linaje en el catálogo universal de Dataplex solo se puede descubrir si hay una
entidad de BigQuery conectada a los complementos compatibles. Para obtener más información sobre cuándo están disponibles los gráficos de linaje de datos, consulta Acerca del linaje de datos.
[[["Fácil de comprender","easyToUnderstand","thumb-up"],["Resolvió mi problema","solvedMyProblem","thumb-up"],["Otro","otherUp","thumb-up"]],[["Difícil de entender","hardToUnderstand","thumb-down"],["Información o código de muestra incorrectos","incorrectInformationOrSampleCode","thumb-down"],["Faltan la información o los ejemplos que necesito","missingTheInformationSamplesINeed","thumb-down"],["Problema de traducción","translationIssue","thumb-down"],["Otro","otherDown","thumb-down"]],["Última actualización: 2025-09-04 (UTC)"],[[["\u003cp\u003eThis page details how to view data lineage generated by Cloud Data Fusion pipelines, integrated with other data movement activities in Google Cloud, for enhanced discovery and governance.\u003c/p\u003e\n"],["\u003cp\u003eLineage graphs for supported data sources can be accessed through the Dataplex page in the console, or using the Data Lineage API for complete records.\u003c/p\u003e\n"],["\u003cp\u003eEnabling the Data Lineage API and granting the Data Lineage Events Producer role to the Cloud Data Fusion service account are essential prerequisites for viewing Cloud Data Fusion lineage graphs in Dataplex.\u003c/p\u003e\n"],["\u003cp\u003eDataplex data lineage is turned off by default for new Cloud Data Fusion instances, but can be enabled either during instance creation or for existing instances via the console or REST API.\u003c/p\u003e\n"],["\u003cp\u003eThere are certain limitations to viewing lineage in Dataplex, such as the necessity of a connected BigQuery entity, lack of support for customer-managed encryption keys, and region restrictions.\u003c/p\u003e\n"]]],[],null,["# View lineage in Dataplex Universal Catalog\n\nThis page describes how to view the data lineage generated by your\nCloud Data Fusion pipelines with other data movement on Google Cloud,\nfor discovery and governance purposes. You can\nview the lineage graphs for supported data sources on the\nDataplex Universal Catalog page in the console, or use the Data Lineage API\nto retrieve complete data lineage records. \n\nPlugins that support Dataplex Universal Catalog data lineage\n------------------------------------------------------------\n\nCloud Data Fusion and Dataplex Universal Catalog support asset-level\nlineage for the following plugins:\n\n- Amazon S3\n- BigQuery\n- BigQuery Multi Table sink (version 6.9.1 and later)\n- Spanner\n- Cloud Storage\n- Cloud SQL for MySQL\n- Cloud SQL for PostgreSQL\n- Dataplex Universal Catalog\n- FTP\n- Generic Database\n- HTTP\n- MSSQL/SQL Server\n- Multiple Database Tables source (version 6.9.1 and later)\n- MySQL\n- Oracle\n- PostgreSQL\n- SAP OData\n- SAP ODP\n- SAP Table\n\nFor more information, see\n[Cloud Data Fusion plugins](/data-fusion/plugins).\n\nBefore you begin\n----------------\n\nTo enable viewing Cloud Data Fusion lineage graphs on the\nDataplex Universal Catalog page in the console, do the following:\n\n1. [Create a data pipeline](/data-fusion/docs/create-data-pipeline)\n that uses only the [supported plugins](#supported_plugins).\n\n2. [Enable the Data Lineage API](/dataplex/docs/use-lineage) in the project that contains your\n Cloud Data Fusion instance.\n\n3. Grant the Data Lineage Events Producer role\n ([`roles/datalineage.producer`](/iam/docs/understanding-roles#datalineage.producer))\n to the Cloud Data Fusion-managed service account, the [Cloud Data\n Fusion API Service\n Agent](/data-fusion/docs/concepts/service-accounts#cloud-data-fusion-service-account).\n The process varies if your instance runs in an earlier version of\n Cloud Data Fusion and RBAC is enabled.\n\n ### 6.10+ or no RBAC\n\n\n If your Cloud Data Fusion instance uses version 6.10.0 or later, or\n your instance uses an earlier version and RBAC isn't enabled, follow these\n steps:\n 1. In the Google Cloud console, go to the **IAM** page.\n\n [Go to IAM](https://console.cloud.google.com/iam-admin/iam?supportedpurview=project)\n 2. Select the **Include Google-provided role grants** checkbox.\n\n 3. Select the Cloud Data Fusion API Service Agent service account and\n click\n edit\n **Edit**.\n\n 4. Click **Add another role** and select the **Data Lineage Events\n Producer** role.\n\n 5. Click **Save**.\n\n ### \\\u003c6.10 with RBAC\n\n If your Cloud Data Fusion instance uses a version earlier than\n 6.10.0 and RBAC is enabled, the service account doesn't appear in the\n list of principals on the IAM page. You must enter the\n service account name manually.\n\n To grant the required role, follow these steps:\n 1. In the Google Cloud console, go to the **IAM** page.\n\n [Go to IAM](https://console.cloud.google.com/iam-admin/iam?supportedpurview=project)\n 2. Click **Grant access**.\n\n 3. In the **New principals** field, enter the Cloud Data Fusion API\n Service Agent service account. Use the following format:\n `datafusion-system@`\u003cvar translate=\"no\"\u003eTENANT_PROJECT_ID\u003c/var\u003e`.iam.gserviceaccount.com`.\n\n Replace \u003cvar translate=\"no\"\u003eTENANT_PROJECT_ID\u003c/var\u003e with the\n tenant ID for your instance. To view the tenant project ID, go to\n the **Instances** page and click the instance name for instance\n details.\n\n [Go to Instances](https://console.cloud.google.com/data-fusion/locations/-/instances)\n 4. Select the **Data Lineage Events Producer** role.\n\n 5. Click **Save**.\n\nEnable Dataplex Universal Catalog data lineage in Cloud Data Fusion\n-------------------------------------------------------------------\n\nFor new instances in Cloud Data Fusion, Dataplex Universal Catalog data\nlineage is turned off by default. If you created the instance before January 27,\n2024 with version 6.8.0 or later, it's turned on by default after completing the\nsteps in [Before you begin](#before_you_begin).\n\n### Enable Dataplex Universal Catalog data lineage when you create an instance\n\n### Console\n\n\nTo enable Dataplex Universal Catalog data lineage when you create an instance,\nfollow these steps:\n\n1. Go to the Cloud Data Fusion **Instances** page and click **Create an\n instance**.\n\n [Create an instance](https://console.cloud.google.com/data-fusion/instance-create)\n2. When you configure the instance, expand the **Advanced options** section\n and click **Enable integration with Dataplex data lineage** . For more\n information about creating instances, see [Create a public\n instance](/data-fusion/docs/how-to/create-instance).\n\n### REST API\n\nTo enable Dataplex Universal Catalog data lineage when you create an instance,\nset the optional `dataplex_data_lineage_integration_enabled` property to\n`true`: \n\n echo '{ \"description\": \"CDAPinstance\", \"dataplex_data_lineage_integration_enabled\": \"true\"}' | curl -X POST \\\n -H \"Authorization: Bearer $(gcloud auth print-access-token)\" \\\n -H \"Content-Type: application/json\" \\\n --data @- \\\n \"https://datafusion.googleapis.com/v1/projects/\u003cvar translate=\"no\"\u003ePROJECT\u003c/var\u003e/locations/\u003cvar translate=\"no\"\u003eLOCATION\u003c/var\u003e/instances?instanceId=\u003cvar translate=\"no\"\u003eINSTANCE_NAME\u003c/var\u003e\"\n\nTo turn it off, either set the property to false or omit the property, as\nlineage is turned off by default when you create a new instance.\n\n### Enable or disable Dataplex Universal Catalog data lineage in an existing instance\n\n### Console\n\n\nTo enable or disable Dataplex Universal Catalog data lineage in an existing instance in\nCloud Data Fusion, follow these steps:\n\n1. View the instance details:\n 1. In the Google Cloud console, go to the Cloud Data Fusion page.\n\n 2. Click **Instances** , and then click the instance's name to go to the\n **Instance details** page.\n\n [Go to Instances](https://console.cloud.google.com/data-fusion/locations/-/instances)\n2. In the **Dataplex data lineage integration** field, click **Edit**.\n3. Enable or disable Dataplex Universal Catalog data lineage, and then click **Save**.\n\n### REST API\n\nTo enable Dataplex Universal Catalog data lineage in an existing instance in\nCloud Data Fusion, set the `dataplex_data_lineage_integration_enabled`\nproperty to `true` and include the `updateMask` parameter value: \n\n echo '{ \"description\": \"CDAPinstance\", \"dataplex_data_lineage_integration_enabled\": \"true\"}' | curl -X POST \\\n -H \"Authorization: Bearer $(gcloud auth print-access-token)\" \\\n -H \"Content-Type: application/json\" \\\n --data @- \\\n \"https://datafusion.googleapis.com/v1/projects/\u003cvar translate=\"no\"\u003ePROJECT\u003c/var\u003e/locations/\u003cvar translate=\"no\"\u003eLOCATION\u003c/var\u003e/instances?instanceId=\u003cvar translate=\"no\"\u003eINSTANCE_NAME\u003c/var\u003e?updateMask=dataplex_data_lineage_integration_enabled\"\n\nTo disable Dataplex Universal Catalog data lineage in an existing instance in\nCloud Data Fusion, set the `dataplex_data_lineage_integration_enabled`\nproperty to `false` and include the `updateMask` parameter value: \n\n echo '{ \"description\": \"CDAPinstance\", \"dataplex_data_lineage_integration_enabled\": \"false\"}' | curl -X POST \\\n -H \"Authorization: Bearer $(gcloud auth print-access-token)\" \\\n -H \"Content-Type: application/json\" \\\n --data @- \\\n \"https://datafusion.googleapis.com/v1/projects/\u003cvar translate=\"no\"\u003ePROJECT\u003c/var\u003e/locations/\u003cvar translate=\"no\"\u003eLOCATION\u003c/var\u003e/instances?instanceId=\u003cvar translate=\"no\"\u003eINSTANCE_NAME\u003c/var\u003e?updateMask=dataplex_data_lineage_integration_enabled\"\n\nView data lineage graphs\n------------------------\n\nTo view lineage graphs for entities across all Google Cloud services,\ndo the following:\n\n1. Go to your instance in Cloud Data Fusion and run a data pipeline\n that uses supported plugins.\n\n2. [View the lineage graphs on the Dataplex Universal Catalog page in the console](/dataplex/docs/use-lineage#view-lineage-graphs)\n and find the asset for which you want to view lineage information.\n\nLimitations\n-----------\n\nViewing lineage in Dataplex Universal Catalog has the following limitations:\n\n- The lineage in Dataplex Universal Catalog is only discoverable if there is a\n BigQuery entity connected to the supported plugins. For more\n information about when data lineage graphs are available, see\n [About data lineage](/dataplex/docs/about-data-lineage).\n\n- The Data Lineage API [doesn't support customer-managed encryption keys (CMEK)](/dataplex/docs/lineage-considerations#compliance).\n\n- Cloud Data Fusion doesn't support this feature in `me-central1` or\n `europe-west12` locations.\n\n- Review the\n [data lineage considerations](/dataplex/docs/lineage-considerations).\n\n| **Warning:** Dataplex Universal Catalog uses IP addresses to form a fully qualified name that uniquely identifies sources and sinks (such as a Database sink) to display lineage. If you must prevent sharing IP address or hostname information, don't enable Dataplex Universal Catalog data lineage integration.\n\nWhat's next\n-----------\n\n- Learn more about [data lineage](/dataplex/docs/about-data-lineage)."]]
