Visualizza la derivazione in Dataplex

Questa pagina descrive come visualizzare la derivazione dei dati generata dalle pipeline di Cloud Data Fusion con altri spostamenti di dati su Google Cloud, a fini di rilevamento e governance. Puoi visualizzare i grafici di derivazione per le origini dati supportate nella pagina Dataplex nella console oppure utilizzare l'API Data Lineage per recuperare record completi della derivazione dei dati.

Plug-in che supportano la derivazione dei dati Dataplex

Cloud Data Fusion e Dataplex supportano la derivazione a livello di asset per i seguenti plug-in:

• Amazon S3
• BigQuery
• Sink multitabella BigQuery (versione 6.9.1 e successive)
• Spanner
• Cloud Storage
• Cloud SQL per MySQL
• Cloud SQL per PostgreSQL
• Dataplex
• FTP
• Database generico
• HTTP
• Server MSSQL/SQL
• Origine di più tabelle di database (versione 6.9.1 e successive)
• MySQL
• Oracle
• PostgreSQL
• SAP OData
• SAP ODP
• Tabella SAP

Per maggiori informazioni, consulta la pagina relativa ai plug-in di Cloud Data Fusion.

Prima di iniziare

Per attivare la visualizzazione dei grafici di derivazione di Cloud Data Fusion nella pagina Dataplex nella console, segui questi passaggi:

1. Crea una pipeline di dati che utilizzi solo i plug-in supportati.

2. Abilita l'API Data Lineage nel progetto che contiene la tua istanza di Cloud Data Fusion.

3. Concedi il ruolo Producer di eventi Data Lineage (roles/datalineage.producer) all'account di servizio gestito da Cloud Data Fusion, l'agente di servizio dell'API Cloud Data Fusion. Il processo varia se l'istanza viene eseguita in una versione precedente di Cloud Data Fusion e se RBAC è abilitato.

   6.10+ o nessun RBAC

   Se la tua istanza di Cloud Data Fusion utilizza la versione 6.10.0 o successive, oppure se l'istanza utilizza una versione precedente e RBAC non è abilitato, segui questi passaggi:

   1. Nella console Google Cloud, vai alla pagina IAM.

      Vai a IAM

   2. Seleziona la casella di controllo Includi concessioni di ruoli fornite da Google.

   3. Seleziona l'account di servizio dell'agente di servizio dell'API Cloud Data Fusion e fai clic su Modifica.

   4. Fai clic su Aggiungi un altro ruolo e seleziona il ruolo Producer di eventi di derivazione dei dati.

   5. Fai clic su Salva.

   < 6,10 con RBAC

   Se l'istanza di Cloud Data Fusion utilizza una versione precedente alla 6.10.0 e RBAC è abilitato, l'account di servizio non compare nell'elenco delle entità sulla pagina IAM. Devi inserire manualmente il nome dell'account di servizio.

   Per concedere il ruolo richiesto:

   1. Nella console Google Cloud, vai alla pagina IAM.

      Vai a IAM

   2. Fai clic su Concedi accesso.

   3. Nel campo Nuove entità, inserisci l'account di servizio agente di servizio API Cloud Data Fusion. Utilizza il seguente formato: datafusion-system@TENANT_PROJECT_ID.iam.gserviceaccount.com.

      Sostituisci TENANT_PROJECT_ID con l'ID tenant della tua istanza. Per visualizzare l'ID progetto tenant, vai alla pagina Istanze e fai clic sul nome dell'istanza per visualizzarne i dettagli.

      Vai a Istanze

   4. Seleziona il ruolo Producer di eventi di derivazione dei dati.

   5. Fai clic su Salva.

Abilita la derivazione dei dati Dataplex in Cloud Data Fusion

Per le nuove istanze in Cloud Data Fusion, la derivazione dei dati Dataplex è disattivata per impostazione predefinita. Se hai creato l'istanza prima del 27 gennaio 2024 con la versione 6.8.0 o successive, viene attivata per impostazione predefinita dopo aver completato i passaggi descritti in Prima di iniziare.

Abilita la derivazione dei dati Dataplex quando crei un'istanza

Console

Per abilitare la derivazione dei dati Dataplex quando crei un'istanza, segui questi passaggi:

1. Vai alla pagina Istanze di Cloud Data Fusion e fai clic su Crea un'istanza.

   Crea un'istanza

2. Quando configuri l'istanza, espandi la sezione Opzioni avanzate e fai clic su Abilita l'integrazione con la derivazione dei dati Dataplex. Per ulteriori informazioni sulla creazione delle istanze, consulta Creare un'istanza pubblica.

API REST

Per abilitare la derivazione dei dati Dataplex quando crei un'istanza, imposta la proprietà dataplex_data_lineage_integration_enabled facoltativa su true:

echo '{ "description": "CDAPinstance", "dataplex_data_lineage_integration_enabled": "true"}' | curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  --data @- \
  "https://datafusion.googleapis.com/v1/projects/PROJECT/locations/LOCATION/instances?instanceId=INSTANCE_NAME"

Per disattivarla, imposta la proprietà su false oppure ometti la proprietà, poiché la derivazione è disattivata per impostazione predefinita quando crei una nuova istanza.

Abilita o disabilita la derivazione dei dati Dataplex in un'istanza esistente

Console

Per abilitare o disabilitare la derivazione dei dati Dataplex in un'istanza esistente in Cloud Data Fusion, segui questi passaggi:

1. Visualizza i dettagli dell'istanza:

   1. Nella console Google Cloud, vai alla pagina Cloud Data Fusion.

   2. Fai clic su Istanze, quindi sul nome dell'istanza per andare alla pagina Dettagli istanza.

      Vai a Istanze

2. Nel campo Integrazione della derivazione dei dati Dataplex, fai clic su Modifica.
3. Abilita o disabilita la derivazione dei dati Dataplex e fai clic su Salva.

API REST

Per abilitare la derivazione dei dati Dataplex in un'istanza esistente in Cloud Data Fusion, imposta la proprietà dataplex_data_lineage_integration_enabled su true e includi il valore parametro updateMask:

echo '{ "description": "CDAPinstance", "dataplex_data_lineage_integration_enabled": "true"}' | curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  --data @- \
  "https://datafusion.googleapis.com/v1/projects/PROJECT/locations/LOCATION/instances?instanceId=INSTANCE_NAME?updateMask=dataplex_data_lineage_integration_enabled"

Per disabilitare la derivazione dei dati Dataplex in un'istanza esistente in Cloud Data Fusion, imposta la proprietà dataplex_data_lineage_integration_enabled su false e includi il valore parametro updateMask:

echo '{ "description": "CDAPinstance", "dataplex_data_lineage_integration_enabled": "false"}' | curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  --data @- \
  "https://datafusion.googleapis.com/v1/projects/PROJECT/locations/LOCATION/instances?instanceId=INSTANCE_NAME?updateMask=dataplex_data_lineage_integration_enabled"

Visualizzare i grafici della derivazione dei dati

Per visualizzare i grafici di derivazione per le entità in tutti i servizi Google Cloud:

1. Vai all'istanza in Cloud Data Fusion ed esegui una pipeline di dati che utilizzi plug-in supportati.

2. Visualizza i grafici di derivazione nella pagina Dataplex nella console e trova l'asset per cui vuoi visualizzare informazioni sulla derivazione.

Limitazioni

La visualizzazione della derivazione in Dataplex ha le seguenti limitazioni:

• La derivazione in Dataplex è rilevabile solo se è presente un'entità BigQuery connessa ai plug-in supportati. Per ulteriori informazioni su quando sono disponibili i grafici della derivazione dei dati, consulta Informazioni sulla derivazione dei dati.

• L'API Data Lineage non supporta le chiavi di crittografia gestite dal cliente (CMEK).

• Cloud Data Fusion non supporta questa funzionalità nelle località me-central1 o europe-west12.

• Esamina le considerazioni sulla derivazione dei dati.

Avviso: Data Catalog utilizza gli indirizzi IP per formare un nome completo che identifica in modo univoco origini e sink (ad esempio un sink di database) per visualizzare la derivazione. Se devi impedire la condivisione delle informazioni sull'indirizzo IP o sul nome host, non abilitare l'integrazione di Data Catalog.

Passaggi successivi

• Scopri di più sulla derivazione dei dati.