Monitora la derivazione dei dati per una tabella BigQuery

Monitora la derivazione dei dati per una tabella BigQuery

Derivazione dei dati consente di tenere traccia del movimento dei dati nei sistemi: da dove provengono, dove a cui viene trasmesso e quali trasformazioni vengono applicate.

Scopri come iniziare a monitorare la derivazione dei dati per Job di query e copia di BigQuery:

1. Copia due tabelle da un set di dati new_york_taxi_trips disponibile pubblicamente.

2. Combina il numero totale di corse in taxi da entrambi i tavoli in una nuova tabella.

3. Visualizzare un grafico di visualizzazione della derivazione per tutte e tre le operazioni.

Prima di iniziare

Configura il progetto:

1. Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

4. Abilita le API Data Catalog, BigQuery, and data lineage.

   Abilita le API

5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

6. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

7. Abilita le API Data Catalog, BigQuery, and data lineage.

   Abilita le API

Attenzione:la derivazione dei dati viene abilitata in base al progetto. Dopo aver abilitato l'API Data Lineage, le informazioni di derivazione vengono automaticamente per più servizi Google Cloud in base al controllo della derivazione a livello di prodotto. Per maggiori dettagli, consulta Considerazioni sulla derivazione dei dati.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per visualizzare i grafici di visualizzazione della derivazione, chiedi all'amministratore di concederti seguenti ruoli IAM:

• Visualizzatore Data Catalog (roles/datacatalog.viewer) sul progetto di risorsa Data Catalog
• Visualizzatore derivazione dati (roles/datalineage.viewer) del progetto in cui utilizzi BigQuery
• Visualizzatore dati BigQuery (roles/bigquery.dataViewer) del progetto in cui utilizzi BigQuery

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite la ruoli o altri ruoli predefiniti ruoli.

Aggiungi un set di dati pubblico al progetto

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro Explorer, fai clic su Aggiungi.

3. Nel riquadro Aggiungi, cerca Public datasets e seleziona Risultato Set di dati pubblici.

4. Nel riquadro Marketplace, cerca NYC TLC Trips e fai clic sul Risultato NYC TLC Trips.

5. Fai clic su Visualizza set di dati.

Questo passaggio aggiunge il set di dati new_york_taxi_trips al tuo progetto. I dettagli mostra Informazioni sul set di dati, incluse informazioni quali ID set di dati, Località dei dati e Ultima modifica.

Crea un set di dati nel progetto

1. Nel riquadro Explorer, seleziona il progetto in cui vuoi creare del set di dati.

2. Fai clic sull'icona Azioni e poi su Crea del set di dati.

3. Nella pagina Crea set di dati, nel campo ID set di dati, inserisci: data_lineage_demo. Lascia invariati i valori predefiniti degli altri campi.

4. Fai clic su Crea set di dati.

5. Nel riquadro Explorer, fai clic sul data_lineage_demo appena aggiunto.

Il riquadro dei dettagli mostra le informazioni sul set di dati.

Copia due tabelle accessibili pubblicamente nel set di dati

1. Apri un editor di query: nel riquadro dei dettagli, accanto alla scheda denominata data_lineage_demo, fai clic su (Crea nuova query). Questo passaggio crea una scheda denominata Untitled.

2. Nell'editor query, copia la prima tabella inserendo quanto segue query. Sostituisci PROJECT_ID con i del tuo progetto identificativo.

   CREATE TABLE `PROJECT_ID.data_lineage_demo.nyc_green_trips_2021`
   COPY `bigquery-public-data.new_york_taxi_trips.tlc_green_trips_2021`
   

3. Fai clic su Esegui. Questo passaggio crea la prima tabella, chiamata nyc_green_trips_2021.

4. Nel riquadro Risultati delle query, fai clic su Vai alla tabella. Questo passaggio mostra i contenuti della prima tabella.

5. Nell'editor query, copia la seconda tabella sostituendo quella precedente con la seguente query. Sostituisci PROJECT_ID con del progetto identificativo.

   CREATE TABLE `PROJECT_ID.data_lineage_demo.nyc_green_trips_2022`
   COPY `bigquery-public-data.new_york_taxi_trips.tlc_green_trips_2022`
   

6. Fai clic su Esegui. Questo passaggio crea la seconda tabella, chiamata nyc_green_trips_2022.

7. Nel riquadro Risultati delle query, fai clic su Vai alla tabella. Questo passaggio mostra i contenuti della seconda tabella.

Aggrega i dati in una nuova tabella

1. Nell'editor query, inserisci la seguente query. Sostituisci PROJECT_ID con del tuo progetto identificativo.

   CREATE TABLE `PROJECT_ID.data_lineage_demo.total_green_trips_22_21`
   AS SELECT vendor_id, COUNT(*) AS number_of_trips
   FROM (
        SELECT vendor_id FROM `PROJECT_ID.data_lineage_demo.nyc_green_trips_2022`
        UNION ALL
        SELECT vendor_id FROM `PROJECT_ID.data_lineage_demo.nyc_green_trips_2021`
   )
   GROUP BY vendor_id
   

2. Fai clic su Esegui. Questo passaggio crea una tabella combinata, denominata total_green_trips_22_21.

3. Nel riquadro Risultati delle query, fai clic su Vai alla tabella. Questo passaggio mostra la tabella combinata.

Visualizza il grafico di derivazione in Dataplex

1. Apri la pagina di ricerca di Dataplex.

   Apri la ricerca in Dataplex

2. Per Scegli la piattaforma di ricerca, seleziona Data Catalog come modalità di ricerca.

3. Nella casella Cerca, inserisci total_green_trips_22_21 e fai clic su Cerca.

4. Nell'elenco dei risultati, fai clic su total_green_trips_22_21. Questo passaggio mostra scheda Dettagli della tabella BigQuery.

5. Fai clic sulla scheda Derivazione.

Nota: potrebbe essere necessario un po' di tempo prima che la derivazione automatica rilevi queste modifiche. Se Se non vedi ancora il grafico della derivazione, ricontrolla dopo alcuni minuti.

Figura 1. Derivazione dei dati con dettagli dei nodi

Nel grafico di derivazione, ogni nodo rettangolare rappresenta una tabella, una tabella originale, copiata o combinata. Puoi:

• Mostrare o nascondere l'origine di una tabella facendo clic su + (Espandi) o - (Comprimi).

• Mostra le informazioni della tabella, facendo clic su un nodo. Questo passaggio mostra un nodo Dettagli.

• Mostra le informazioni sul processo facendo clic su . Questo passaggio mostra un riquadro Dettagli del processo che mostra il job che ha trasformato una tabella di origine in una tabella di destinazione.

Figura 2. Derivazione dei dati con dettagli di processo

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi per le risorse utilizzate in questa pagina, segui questi passaggi.

Elimina il progetto

Il modo più semplice per eliminare la fatturazione creato per il tutorial.

Per eliminare il progetto:

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per le attività in questo documento, quando lo elimini elimini anche qualsiasi altro lavoro svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più architetture, tutorial o guide rapide, puoi riutilizzare i progetti ed evitare così di superare i limiti di quota.

1. Nella console Google Cloud, vai alla pagina Gestisci risorse.

   Vai a Gestisci risorse

2. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
3. Nella finestra di dialogo, digita l'ID del progetto e fai clic su Chiudi per eliminare il progetto.

Eliminazione del set di dati

1. Vai alla pagina di BigQuery.

   Vai a BigQuery

2. Nel riquadro Explorer, cerca il set di dati data_lineage_demo che è stato creato.

3. Fai clic con il tasto destro del mouse sul set di dati e seleziona Elimina.

4. Conferma l'azione di eliminazione.

Passaggi successivi

• Scopri di più su Dataplex e la derivazione dei dati.
• Scopri come eseguire BigQuery query.
• Scopri come utilizzare la derivazione dei dati e visualizza derivazione dei dati grafici.
• Scopri di più sui prezzi di Dataplex e fatturazione.