Questa pagina descrive come visualizzare la derivazione dei dati generata dalle tue pipeline di Cloud Data Fusion con altri spostamenti di dati su Google Cloud, a fini di rilevamento e governance. Puoi visualizzare i grafici sulla derivazione per le origini dati supportate nella pagina Dataplex nella console o utilizzare l'API Data Lineage per recuperare i record completi.
Plug-in che supportano la derivazione dei dati in Dataplex
Cloud Data Fusion e Dataplex supportano la derivazione a livello di asset per i seguenti plug-in:
- Amazon S3
- BigQuery
- Sink di BigQuery Multi Table (versione 6.9.1 e successive)
- Cloud Spanner
- Cloud Storage
- Cloud SQL per MySQL
- Cloud SQL for PostgreSQL
- Dataplex
- FTP
- Database generico
- HTTP
- MSSQL/SQL Server
- Origine di più tabelle di database (versione 6.9.1 e successive)
- MySQL
- Oracle
- PostgreSQL
- OData SAP
- ODP SAP
- Tabella SAP
Per ulteriori informazioni, consulta i plug-in di Cloud Data Fusion.
Prima di iniziare
Per attivare la visualizzazione dei grafici sulla derivazione di Cloud Data Fusion nella pagina Dataplex nella console:
Crea una pipeline di dati che utilizzi solo i plug-in supportati.
Abilita l'API Data Lineage nel progetto che contiene la tua istanza di Cloud Data Fusion.
Concedi il ruolo Produttore di eventi Data Lineage (
roles/datalineage.producer) all'account di servizio gestito da Cloud Data Fusion. Per ulteriori informazioni, consulta i ruoli di derivazione predefiniti di Data Catalog.Istanze senza RBAC
Se controllo dell'accesso basato sui ruoli (RBAC) non è abilitato sull'istanza, concedi il ruolo Producer eventi Data Lineage (
roles/datalineage.producer) all'agente di servizio dell'API Cloud Data Fusion.Per concedere il ruolo richiesto:
Nella console Google Cloud, vai alla pagina IAM.
Seleziona la casella di controllo Includi concessioni di ruoli fornite da Google.
Seleziona l'account di servizio dell'agente di servizio dell'API Cloud Data Fusion come principale e fai clic su Modifica.
Fai clic su Aggiungi un altro ruolo e seleziona il ruolo Produttore di eventi Data Lineage.
Fai clic su Salva.
Istanze con RBAC
Per le istanze per cui è abilitato il controllo dell'accesso basato sui ruoli (RBAC), l'account di servizio a cui concedi il ruolo ha il seguente formato:
datafusion-system@TENANT_PROJECT_ID.iam.gserviceaccount.com. Non viene visualizzato nell'elenco delle entità nella pagina IAM.Per concedere il ruolo richiesto:
Nella console Google Cloud, vai alla pagina IAM.
Fai clic su Concedi accesso.
Nel campo Nuove entità, inserisci l'account di servizio dell'agente di servizio dell'API Cloud Data Fusion:
datafusion-system@TENANT_PROJECT_ID.iam.gserviceaccount.com.Seleziona il ruolo Producer eventi di derivazione dati.
Fai clic su Salva.
Quando è disponibile la derivazione
La visualizzazione della derivazione in Dataplex presenta le seguenti limitazioni:
La derivazione in Dataplex è rilevabile solo se è presente un'entità BigQuery collegata ai plug-in supportati. Per ulteriori informazioni su quando sono disponibili i grafici sulla derivazione dei dati, consulta Informazioni sulla derivazione dei dati.
L'API Data Lineage non supporta le chiavi di crittografia gestite dal cliente (CMEK).
Esamina le considerazioni sulla derivazione dei dati.
Visualizzare i grafici sulla derivazione dei dati
Per visualizzare i grafici sulla derivazione delle entità in tutti i servizi Google Cloud:
Vai all'istanza in Cloud Data Fusion ed esegui una pipeline di dati che utilizza plug-in supportati.
Visualizza i grafici sulla derivazione nella pagina Dataplex nella console e trova l'asset per cui vuoi visualizzare le informazioni sulla derivazione.
Passaggi successivi
- Scopri di più sulla trasposizione dei dati.