Visualizza la derivazione in Dataplex

Questa pagina descrive come visualizzare la derivazione dei dati generata dalle tue pipeline Cloud Data Fusion con altri movimenti di dati su Google Cloud, a fini di rilevamento e governance. Puoi visualizzare i grafici della cronologia per le origini dati supportate nella pagina Dataplex della console oppure utilizzare l'API Data Lineage per recuperare record completi della cronologia dei dati.

Plug-in che supportano la derivazione dei dati Dataplex

Cloud Data Fusion e Dataplex supportano a livello di asset derivazione per i seguenti plug-in:

  • Amazon S3
  • BigQuery
  • Sink multi-tabella BigQuery (versione 6.9.1 e successive)
  • Spanner
  • Cloud Storage
  • Cloud SQL per MySQL
  • Cloud SQL per PostgreSQL
  • Dataplex
  • FTP
  • Database generico
  • HTTP
  • MSSQL/SQL Server
  • Origine di più tabelle di database (versione 6.9.1 e successive)
  • MySQL
  • Oracle
  • PostgreSQL
  • SAP OData
  • SAP ODP
  • Tabella SAP

Per ulteriori informazioni, vedi Plug-in di Cloud Data Fusion.

Prima di iniziare

Per abilitare la visualizzazione dei grafici di eredità di Cloud Data Fusion nella pagina Dataplex della console, procedi nel seguente modo:

  1. Creare una pipeline di dati che utilizza solo i plug-in supportati.

  2. Abilita l'API Data Lineage nel progetto che contiene l'istanza Cloud Data Fusion.

  3. Concedi il ruolo Producer di eventi di derivazione dei dati (roles/datalineage.producer) all'account di servizio gestito da Cloud Data Fusion, Cloud Data Servizio API Fusion Agente. La procedura varia se l'istanza viene eseguita in una versione precedente di Cloud Data Fusion e se è abilitato il RBAC.

    6.10 o versioni successive o nessuna RBAC

    Se la tua istanza Cloud Data Fusion utilizza la versione 6.10.0 o successive, oppure se l'istanza utilizza una versione precedente e RBAC non è abilitato, segui questi passaggi:

    1. Nella console Google Cloud, vai alla pagina IAM.

      Vai a IAM

    2. Seleziona la casella di controllo Includi concessioni di ruoli fornite da Google.

    3. Seleziona l'account di servizio dell'agente di servizio dell'API Cloud Data Fusion e clic Modifica:

    4. Fai clic su Aggiungi un altro ruolo e seleziona il ruolo Produttore di eventi di eredità dei dati.

    5. Fai clic su Salva.

    <6.10 con RBAC

    Se la tua istanza Cloud Data Fusion utilizza una versione precedente a 6.10.0 e RBAC è abilitato, l'account di servizio non appare nella delle entità nella pagina IAM. Devi inserire manualmente il nome dell'account di servizio.

    Per concedere il ruolo richiesto:

    1. Nella console Google Cloud, vai alla pagina IAM.

      Vai a IAM

    2. Fai clic su Concedi accesso.

    3. Nel campo Nuove entità, inserisci l'account di servizio Agente di servizio dell'API Cloud Data Fusion. Utilizza il formato seguente: datafusion-system@TENANT_PROJECT_ID.iam.gserviceaccount.com.

      Sostituisci TENANT_PROJECT_ID con l'ID tenant della tua istanza. Per visualizzare l'ID progetto del tenant, vai alla pagina Istanze e fai clic sul nome dell'istanza per visualizzarne i dettagli.

      Vai a Istanze

    4. Seleziona il ruolo Producer eventi di derivazione dei dati.

    5. Fai clic su Salva.

Attivare la derivazione dei dati Dataplex in Cloud Data Fusion

Per le nuove istanze in Cloud Data Fusion, la derivazione dei dati Dataplex è disattivata per impostazione predefinita. Se hai creato l'istanza prima del 27 gennaio 2024 con la versione 6.8.0 o successive, è attiva per impostazione predefinita dopo aver completato i passaggi descritti in Prima di iniziare.

Abilita la derivazione dei dati Dataplex quando crei un'istanza

Console

Per abilitare la derivazione dei dati Dataplex quando crei un'istanza, segui questi passaggi:

  1. Vai alla pagina Istanze di Cloud Data Fusion e fai clic su Crea un'istanza.

    Crea un'istanza

  2. Quando configuri l'istanza, espandi la sezione Opzioni avanzate e fai clic su Abilita l'integrazione con la derivazione dei dati Dataplex. Per ulteriori informazioni sulla creazione di istanze, vedi Creare un'istanza pubblica.

API REST

Per abilitare la derivazione dei dati Dataplex quando crei un'istanza, imposta la proprietà facoltativa dataplex_data_lineage_integration_enabled su true:

echo '{ "description": "CDAPinstance", "dataplex_data_lineage_integration_enabled": "true"}' | curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  --data @- \
  "https://datafusion.googleapis.com/v1/projects/PROJECT/locations/LOCATION/instances?instanceId=INSTANCE_NAME"

Per disattivarla, imposta la proprietà su false oppure omettila, come la derivazione è disattivata per impostazione predefinita quando crei una nuova istanza.

Attivare o disattivare la derivazione dei dati Dataplex in un'istanza esistente

Console

Per attivare o disattivare la derivazione dei dati Dataplex in un'istanza esistente in Cloud Data Fusion:

  1. Visualizza i dettagli dell'istanza:

    1. Nella console Google Cloud, vai alla pagina Cloud Data Fusion.

    2. Fai clic su Istanze, quindi sul nome dell'istanza per andare alla pagina Dettagli istanza.

      Vai a Istanze

  2. Nel campo Integrazione della derivazione dei dati Dataplex, fai clic su Modifica.
  3. Attiva o disattiva la derivazione dei dati Dataplex, quindi fai clic su Salva.

API REST

Per attivare la derivazione dei dati Dataplex in un'istanza esistente in Cloud Data Fusion, imposta la proprietà dataplex_data_lineage_integration_enabled su true e includi il valore del parametro updateMask:

echo '{ "description": "CDAPinstance", "dataplex_data_lineage_integration_enabled": "true"}' | curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  --data @- \
  "https://datafusion.googleapis.com/v1/projects/PROJECT/locations/LOCATION/instances?instanceId=INSTANCE_NAME?updateMask=dataplex_data_lineage_integration_enabled"

Per disattivare la derivazione dei dati Dataplex in un'istanza esistente in Cloud Data Fusion, imposta la proprietà dataplex_data_lineage_integration_enabled su false e includi il valore del parametro updateMask:

echo '{ "description": "CDAPinstance", "dataplex_data_lineage_integration_enabled": "false"}' | curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  --data @- \
  "https://datafusion.googleapis.com/v1/projects/PROJECT/locations/LOCATION/instances?instanceId=INSTANCE_NAME?updateMask=dataplex_data_lineage_integration_enabled"

Visualizzare i grafici della derivazione dei dati

Per visualizzare i grafici di derivazione per le entità in tutti i servizi Google Cloud, segui questi passaggi:

  1. Vai all'istanza in Cloud Data Fusion ed esegui una pipeline di dati che utilizza plug-in supportati.

  2. Visualizza i grafici della cronologia nella pagina Dataplex della console e individua la risorsa per cui vuoi visualizzare le informazioni sulla cronologia.

Limitazioni

La visualizzazione della derivazione in Dataplex presenta le seguenti limitazioni:

Passaggi successivi