Visualizza la derivazione in Dataplex Universal Catalog
Mantieni tutto organizzato con le raccolte
Salva e classifica i contenuti in base alle tue preferenze.
Questa pagina descrive come visualizzare la derivazione dei dati generata dalle tue pipeline Cloud Data Fusion con altri spostamenti di dati su Google Cloud,
a fini di rilevamento e governance. Puoi visualizzare i grafici della struttura per le origini dati supportate nella pagina Catalogo universale Dataplex della console oppure utilizzare l'API Data Lineage per recuperare record completi della struttura dei dati.
Plug-in che supportano la derivazione dei dati del Catalogo universale Dataplex
Cloud Data Fusion e il Catalogo universale Dataplex supportano la derivazione
a livello di asset per i seguenti plug-in:
Amazon S3
BigQuery
Destinazione BigQuery Multi Table (versione 6.9.1 e successive)
Spanner
Cloud Storage
Cloud SQL per MySQL
Cloud SQL per PostgreSQL
Catalogo universale Dataplex
FTP
Database generico
HTTP
MSSQL/SQL Server
Origine Più tabelle di database (versione 6.9.1 e successive)
Per attivare la visualizzazione dei grafici della struttura di Cloud Data Fusion nella pagina Catalogo universale Dataplex della console, segui questi passaggi:
Concedi il ruolo Produttore di eventi di eredità dei dati
(roles/datalineage.producer)
all'account di servizio gestito da Cloud Data Fusion, l'agente di servizio API Cloud Data Fusion.
La procedura varia se l'istanza viene eseguita in una versione precedente di Cloud Data Fusion e RBAC è abilitato.
6.10 o versioni successive o nessuna RBAC
Se la tua istanza Cloud Data Fusion utilizza la versione 6.10.0 o successive o se utilizza una versione precedente e RBAC non è abilitato, segui questi passaggi:
Seleziona la casella di controllo Includi concessioni di ruoli fornite da Google.
Seleziona l'account di servizio Cloud Data Fusion API Service Agent e
fai clic su
edit
Modifica.
Fai clic su Aggiungi un altro ruolo e seleziona il ruolo Produttore di eventi di eredità dei dati.
Fai clic su Salva.
<6.10 con RBAC
Se la tua istanza Cloud Data Fusion utilizza una versione precedente alla 6.10.0 e il RBAC è abilitato, l'account di servizio non viene visualizzato nell'elenco dei principali nella pagina IAM. Devi inserire manualmente il nome dell'account di servizio.
Nel campo Nuove entità, inserisci l'account di servizio Agente di servizio dell'API Cloud Data Fusion. Utilizza il formato seguente:
datafusion-system@TENANT_PROJECT_ID.iam.gserviceaccount.com.
Sostituisci TENANT_PROJECT_ID con l'ID tenant della tua istanza. Per visualizzare l'ID progetto del tenant, vai alla pagina Istanze e fai clic sul nome dell'istanza per visualizzarne i dettagli.
Attivare la derivazione dei dati del Catalogo universale Dataplex in Cloud Data Fusion
Per le nuove istanze in Cloud Data Fusion, la consistenza dei dati del Catalogo universale Dataplex è disattivata per impostazione predefinita. Se hai creato l'istanza prima del 27 gennaio 2024 con la versione 6.8.0 o successive, è attiva per impostazione predefinita dopo aver completato i passaggi descritti in Prima di iniziare.
Attivare la derivazione dei dati del Catalogo universale Dataplex quando crei un'istanza
Console
Per attivare la derivazione dei dati del Catalogo universale Dataplex quando crei un'istanza:
Vai alla pagina Istanze di Cloud Data Fusion e fai clic su Crea un'istanza.
Quando configuri l'istanza, espandi la sezione Opzioni avanzate
e fai clic su Abilita l'integrazione con la derivazione dei dati Dataplex. Per ulteriori informazioni sulla creazione di istanze, vedi Creare un'istanza pubblica.
API REST
Per attivare la derivazione dei dati del Catalogo universale Dataplex quando crei un'istanza, imposta la proprietà facoltativa dataplex_data_lineage_integration_enabled su true:
Per disattivarla, imposta la proprietà su false o omettila, poiché la consistenza è disattivata per impostazione predefinita quando crei una nuova istanza.
Attiva o disattiva la derivazione dei dati del Catalogo universale Dataplex in un'istanza esistente
Console
Per attivare o disattivare la derivazione dei dati del Catalogo universale Dataplex in un'istanza esistente in Cloud Data Fusion:
Visualizza i dettagli dell'istanza:
Nella Google Cloud console, vai alla pagina Cloud Data Fusion.
Fai clic su Istanze, quindi sul nome dell'istanza per andare alla pagina Dettagli istanza.
Nel campo Integrazione della derivazione dei dati Dataplex, fai clic su Modifica.
Attiva o disattiva la derivazione dei dati del Catalogo universale Dataplex e poi fai clic su
Salva.
API REST
Per attivare la derivazione dei dati del Catalogo universale Dataplex in un'istanza esistente in Cloud Data Fusion, imposta la proprietà dataplex_data_lineage_integration_enabled su true e includi il valore parametro updateMask:
Per disattivare la derivazione dei dati del Catalogo universale Dataplex in un'istanza esistente in Cloud Data Fusion, imposta la proprietà dataplex_data_lineage_integration_enabled su false e includi il valore parametro updateMask:
La visualizzazione della derivazione nel Catalogo universale Dataplex presenta le seguenti limitazioni:
La derivazione nel catalogo universale Dataplex è rilevabile solo se esiste un'entità BigQuery collegata ai plug-in supportati. Per ulteriori informazioni su quando sono disponibili i grafici della derivazione dei dati, consulta Informazioni sulla derivazione dei dati.
[[["Facile da capire","easyToUnderstand","thumb-up"],["Il problema è stato risolto","solvedMyProblem","thumb-up"],["Altra","otherUp","thumb-up"]],[["Difficile da capire","hardToUnderstand","thumb-down"],["Informazioni o codice di esempio errati","incorrectInformationOrSampleCode","thumb-down"],["Mancano le informazioni o gli esempi di cui ho bisogno","missingTheInformationSamplesINeed","thumb-down"],["Problema di traduzione","translationIssue","thumb-down"],["Altra","otherDown","thumb-down"]],["Ultimo aggiornamento 2025-09-04 UTC."],[[["\u003cp\u003eThis page details how to view data lineage generated by Cloud Data Fusion pipelines, integrated with other data movement activities in Google Cloud, for enhanced discovery and governance.\u003c/p\u003e\n"],["\u003cp\u003eLineage graphs for supported data sources can be accessed through the Dataplex page in the console, or using the Data Lineage API for complete records.\u003c/p\u003e\n"],["\u003cp\u003eEnabling the Data Lineage API and granting the Data Lineage Events Producer role to the Cloud Data Fusion service account are essential prerequisites for viewing Cloud Data Fusion lineage graphs in Dataplex.\u003c/p\u003e\n"],["\u003cp\u003eDataplex data lineage is turned off by default for new Cloud Data Fusion instances, but can be enabled either during instance creation or for existing instances via the console or REST API.\u003c/p\u003e\n"],["\u003cp\u003eThere are certain limitations to viewing lineage in Dataplex, such as the necessity of a connected BigQuery entity, lack of support for customer-managed encryption keys, and region restrictions.\u003c/p\u003e\n"]]],[],null,["# View lineage in Dataplex Universal Catalog\n\nThis page describes how to view the data lineage generated by your\nCloud Data Fusion pipelines with other data movement on Google Cloud,\nfor discovery and governance purposes. You can\nview the lineage graphs for supported data sources on the\nDataplex Universal Catalog page in the console, or use the Data Lineage API\nto retrieve complete data lineage records. \n\nPlugins that support Dataplex Universal Catalog data lineage\n------------------------------------------------------------\n\nCloud Data Fusion and Dataplex Universal Catalog support asset-level\nlineage for the following plugins:\n\n- Amazon S3\n- BigQuery\n- BigQuery Multi Table sink (version 6.9.1 and later)\n- Spanner\n- Cloud Storage\n- Cloud SQL for MySQL\n- Cloud SQL for PostgreSQL\n- Dataplex Universal Catalog\n- FTP\n- Generic Database\n- HTTP\n- MSSQL/SQL Server\n- Multiple Database Tables source (version 6.9.1 and later)\n- MySQL\n- Oracle\n- PostgreSQL\n- SAP OData\n- SAP ODP\n- SAP Table\n\nFor more information, see\n[Cloud Data Fusion plugins](/data-fusion/plugins).\n\nBefore you begin\n----------------\n\nTo enable viewing Cloud Data Fusion lineage graphs on the\nDataplex Universal Catalog page in the console, do the following:\n\n1. [Create a data pipeline](/data-fusion/docs/create-data-pipeline)\n that uses only the [supported plugins](#supported_plugins).\n\n2. [Enable the Data Lineage API](/dataplex/docs/use-lineage) in the project that contains your\n Cloud Data Fusion instance.\n\n3. Grant the Data Lineage Events Producer role\n ([`roles/datalineage.producer`](/iam/docs/understanding-roles#datalineage.producer))\n to the Cloud Data Fusion-managed service account, the [Cloud Data\n Fusion API Service\n Agent](/data-fusion/docs/concepts/service-accounts#cloud-data-fusion-service-account).\n The process varies if your instance runs in an earlier version of\n Cloud Data Fusion and RBAC is enabled.\n\n ### 6.10+ or no RBAC\n\n\n If your Cloud Data Fusion instance uses version 6.10.0 or later, or\n your instance uses an earlier version and RBAC isn't enabled, follow these\n steps:\n 1. In the Google Cloud console, go to the **IAM** page.\n\n [Go to IAM](https://console.cloud.google.com/iam-admin/iam?supportedpurview=project)\n 2. Select the **Include Google-provided role grants** checkbox.\n\n 3. Select the Cloud Data Fusion API Service Agent service account and\n click\n edit\n **Edit**.\n\n 4. Click **Add another role** and select the **Data Lineage Events\n Producer** role.\n\n 5. Click **Save**.\n\n ### \\\u003c6.10 with RBAC\n\n If your Cloud Data Fusion instance uses a version earlier than\n 6.10.0 and RBAC is enabled, the service account doesn't appear in the\n list of principals on the IAM page. You must enter the\n service account name manually.\n\n To grant the required role, follow these steps:\n 1. In the Google Cloud console, go to the **IAM** page.\n\n [Go to IAM](https://console.cloud.google.com/iam-admin/iam?supportedpurview=project)\n 2. Click **Grant access**.\n\n 3. In the **New principals** field, enter the Cloud Data Fusion API\n Service Agent service account. Use the following format:\n `datafusion-system@`\u003cvar translate=\"no\"\u003eTENANT_PROJECT_ID\u003c/var\u003e`.iam.gserviceaccount.com`.\n\n Replace \u003cvar translate=\"no\"\u003eTENANT_PROJECT_ID\u003c/var\u003e with the\n tenant ID for your instance. To view the tenant project ID, go to\n the **Instances** page and click the instance name for instance\n details.\n\n [Go to Instances](https://console.cloud.google.com/data-fusion/locations/-/instances)\n 4. Select the **Data Lineage Events Producer** role.\n\n 5. Click **Save**.\n\nEnable Dataplex Universal Catalog data lineage in Cloud Data Fusion\n-------------------------------------------------------------------\n\nFor new instances in Cloud Data Fusion, Dataplex Universal Catalog data\nlineage is turned off by default. If you created the instance before January 27,\n2024 with version 6.8.0 or later, it's turned on by default after completing the\nsteps in [Before you begin](#before_you_begin).\n\n### Enable Dataplex Universal Catalog data lineage when you create an instance\n\n### Console\n\n\nTo enable Dataplex Universal Catalog data lineage when you create an instance,\nfollow these steps:\n\n1. Go to the Cloud Data Fusion **Instances** page and click **Create an\n instance**.\n\n [Create an instance](https://console.cloud.google.com/data-fusion/instance-create)\n2. When you configure the instance, expand the **Advanced options** section\n and click **Enable integration with Dataplex data lineage** . For more\n information about creating instances, see [Create a public\n instance](/data-fusion/docs/how-to/create-instance).\n\n### REST API\n\nTo enable Dataplex Universal Catalog data lineage when you create an instance,\nset the optional `dataplex_data_lineage_integration_enabled` property to\n`true`: \n\n echo '{ \"description\": \"CDAPinstance\", \"dataplex_data_lineage_integration_enabled\": \"true\"}' | curl -X POST \\\n -H \"Authorization: Bearer $(gcloud auth print-access-token)\" \\\n -H \"Content-Type: application/json\" \\\n --data @- \\\n \"https://datafusion.googleapis.com/v1/projects/\u003cvar translate=\"no\"\u003ePROJECT\u003c/var\u003e/locations/\u003cvar translate=\"no\"\u003eLOCATION\u003c/var\u003e/instances?instanceId=\u003cvar translate=\"no\"\u003eINSTANCE_NAME\u003c/var\u003e\"\n\nTo turn it off, either set the property to false or omit the property, as\nlineage is turned off by default when you create a new instance.\n\n### Enable or disable Dataplex Universal Catalog data lineage in an existing instance\n\n### Console\n\n\nTo enable or disable Dataplex Universal Catalog data lineage in an existing instance in\nCloud Data Fusion, follow these steps:\n\n1. View the instance details:\n 1. In the Google Cloud console, go to the Cloud Data Fusion page.\n\n 2. Click **Instances** , and then click the instance's name to go to the\n **Instance details** page.\n\n [Go to Instances](https://console.cloud.google.com/data-fusion/locations/-/instances)\n2. In the **Dataplex data lineage integration** field, click **Edit**.\n3. Enable or disable Dataplex Universal Catalog data lineage, and then click **Save**.\n\n### REST API\n\nTo enable Dataplex Universal Catalog data lineage in an existing instance in\nCloud Data Fusion, set the `dataplex_data_lineage_integration_enabled`\nproperty to `true` and include the `updateMask` parameter value: \n\n echo '{ \"description\": \"CDAPinstance\", \"dataplex_data_lineage_integration_enabled\": \"true\"}' | curl -X POST \\\n -H \"Authorization: Bearer $(gcloud auth print-access-token)\" \\\n -H \"Content-Type: application/json\" \\\n --data @- \\\n \"https://datafusion.googleapis.com/v1/projects/\u003cvar translate=\"no\"\u003ePROJECT\u003c/var\u003e/locations/\u003cvar translate=\"no\"\u003eLOCATION\u003c/var\u003e/instances?instanceId=\u003cvar translate=\"no\"\u003eINSTANCE_NAME\u003c/var\u003e?updateMask=dataplex_data_lineage_integration_enabled\"\n\nTo disable Dataplex Universal Catalog data lineage in an existing instance in\nCloud Data Fusion, set the `dataplex_data_lineage_integration_enabled`\nproperty to `false` and include the `updateMask` parameter value: \n\n echo '{ \"description\": \"CDAPinstance\", \"dataplex_data_lineage_integration_enabled\": \"false\"}' | curl -X POST \\\n -H \"Authorization: Bearer $(gcloud auth print-access-token)\" \\\n -H \"Content-Type: application/json\" \\\n --data @- \\\n \"https://datafusion.googleapis.com/v1/projects/\u003cvar translate=\"no\"\u003ePROJECT\u003c/var\u003e/locations/\u003cvar translate=\"no\"\u003eLOCATION\u003c/var\u003e/instances?instanceId=\u003cvar translate=\"no\"\u003eINSTANCE_NAME\u003c/var\u003e?updateMask=dataplex_data_lineage_integration_enabled\"\n\nView data lineage graphs\n------------------------\n\nTo view lineage graphs for entities across all Google Cloud services,\ndo the following:\n\n1. Go to your instance in Cloud Data Fusion and run a data pipeline\n that uses supported plugins.\n\n2. [View the lineage graphs on the Dataplex Universal Catalog page in the console](/dataplex/docs/use-lineage#view-lineage-graphs)\n and find the asset for which you want to view lineage information.\n\nLimitations\n-----------\n\nViewing lineage in Dataplex Universal Catalog has the following limitations:\n\n- The lineage in Dataplex Universal Catalog is only discoverable if there is a\n BigQuery entity connected to the supported plugins. For more\n information about when data lineage graphs are available, see\n [About data lineage](/dataplex/docs/about-data-lineage).\n\n- The Data Lineage API [doesn't support customer-managed encryption keys (CMEK)](/dataplex/docs/lineage-considerations#compliance).\n\n- Cloud Data Fusion doesn't support this feature in `me-central1` or\n `europe-west12` locations.\n\n- Review the\n [data lineage considerations](/dataplex/docs/lineage-considerations).\n\n| **Warning:** Dataplex Universal Catalog uses IP addresses to form a fully qualified name that uniquely identifies sources and sinks (such as a Database sink) to display lineage. If you must prevent sharing IP address or hostname information, don't enable Dataplex Universal Catalog data lineage integration.\n\nWhat's next\n-----------\n\n- Learn more about [data lineage](/dataplex/docs/about-data-lineage)."]]
