Esplora la derivazione dei dati utilizzando i metadati

---

Questo tutorial mostra come utilizzare Cloud Data Fusion per esplorare la lineagia dei dati: le origini dei dati e il loro spostamento nel tempo.

Per informazioni sull'integrazione della derivazione degli asset di Data Catalog, vedi Visualizzare la derivazione in Dataplex.

Derivazione dei dati di Cloud Data Fusion

Puoi utilizzare la derivazione dei dati di Cloud Data Fusion per:

• Rileva la causa principale degli eventi di dati non validi.

• Esegui un'analisi dell'impatto prima di apportare modifiche ai dati.

Cloud Data Fusion fornisce la derivazione a livello di set di dati e di campo ed è vincolata al tempo per mostrare la derivazione nel tempo.

• La derivazione a livello di set di dati mostra la relazione tra set di dati e pipeline in un intervallo di tempo selezionato.

• La derivazione a livello di campo mostra le operazioni che sono state eseguite su un insieme di campi nel set di dati di origine per produrre un insieme diverso di campi nel set di dati di destinazione.

Scenario tutorial

In questo tutorial lavorerai con due pipeline:

• La pipeline Shipment Data Cleansing legge i dati non elaborati di spedizione da un piccolo set di dati campione e applica le trasformazioni per pulire i dati.

• Dopodiché, la pipeline Delayed Shipments USA legge i dati di spedizione puliti, li analizza e trova le spedizioni all'interno degli Stati Uniti che hanno subito un ritardo superiore a una soglia.

Queste pipeline di tutorial mostrano uno scenario tipico in cui i dati non elaborati vengono puliti e poi inviati per l'elaborazione downstream. Questo percorso di dati, dai dati non elaborati ai dati di spedizione puliti fino all'output analitico, può essere esplorato utilizzando la funzionalità di derivazione di Cloud Data Fusion.

Obiettivi

• Crea derivazione eseguendo pipeline di esempio
• Esplora la derivazione a livello di set di dati e di campo
• Scopri come trasferire le informazioni sull'handshake dalla pipeline upstream alla pipeline downstream

Costi

In questo documento vengono utilizzati i seguenti componenti fatturabili di Google Cloud:

• Cloud Data Fusion
• Cloud Storage
• BigQuery

Per generare una stima dei costi in base all'utilizzo previsto, utilizza il Calcolatore prezzi. I nuovi utenti di Google Cloud possono essere idonei a una prova senza costi aggiuntivi.

Prima di iniziare

1. Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.

2. Nella pagina del selettore di progetti della console Google Cloud, seleziona o crea un progetto Google Cloud.

   Nota: se non prevedi di conservare le risorse create in questa procedura, crea un progetto anziché selezionarne uno esistente. Dopo aver completato questi passaggi, puoi eliminare il progetto, rimuovendo tutte le risorse associate.

   Vai al selettore progetti

3. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

4. Nella pagina del selettore di progetti della console Google Cloud, seleziona o crea un progetto Google Cloud.

   Nota: se non prevedi di conservare le risorse create in questa procedura, crea un progetto anziché selezionarne uno esistente. Dopo aver completato questi passaggi, puoi eliminare il progetto, rimuovendo tutte le risorse associate.

   Vai al selettore progetti

5. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

6. Abilita le API Cloud Data Fusion, Cloud Storage, Dataproc, and BigQuery.

   Abilita le API

7. Crea un'istanza di Cloud Data Fusion.
8. Fai clic sui seguenti link per scaricare questi piccoli set di dati di esempio sulla tua macchina locale:
   • Pulizia dei dati di spedizione
   • Spedizioni ritardate negli Stati Uniti

Apri l'interfaccia utente di Cloud Data Fusion

Quando utilizzi Cloud Data Fusion, utilizzi sia la console Google Cloud sia l'interfaccia utente separata di Cloud Data Fusion. Nella console Google Cloud, puoi creare un progetto della console Google Cloud e creare ed eliminare istanze di Cloud Data Fusion. Nell'interfaccia utente di Cloud Data Fusion, puoi utilizzare le varie pagine, ad esempio Lineage, per accedere alle funzionalità di Cloud Data Fusion.

1. Nella console Google Cloud, apri la pagina Istanze.

   Apri la pagina Istanze

2. Nella colonna Azioni per l'istanza, fai clic sul link Visualizza istanza. L'interfaccia utente di Cloud Data Fusion si apre in una nuova scheda del browser.

3. Nel riquadro Integra, fai clic su Studio per aprire la pagina Studio di Cloud Data Fusion.

   

Esegui il deployment e le pipeline

1. Importa i dati di spedizione non elaborati. Nella pagina Studio, fai clic su Importa o fai clic su + > Pipeline > Importa, quindi seleziona e importa la pipeline di pulizia dei dati di spedizione che hai scaricato Prima di iniziare.

   

   Se una finestra di dialogo ti chiede di eseguire l'upgrade dei plug-in della pipeline, fai clic su Correggi tutto per eseguire l'upgrade dei plug-in alle versioni più recenti.

2. Eseguire il deployment della pipeline. Fai clic su Esegui il deployment in alto a destra nella pagina Studio. Dopo il deployment, si apre la pagina Pipeline.

3. Eseguire la pipeline. Fai clic su Esegui nella parte in alto al centro della pagina Pipeline.

4. Importa, distribuisci ed esegui i dati e la pipeline di Spedizioni ritardate. Quando lo stato della pulizia dei dati di spedizione mostra Riuscito, applica i passaggi precedenti ai dati di Spedizioni ritardate per gli Stati Uniti che hai scaricato nella sezione Prima di iniziare. Torna alla pagina Studio per importare i dati, quindi esegui il deployment di questa seconda pipeline ed eseguila dalla pagina Pipeline. Dopo il completamento della seconda pipeline, procedi con i passaggi rimanenti.

Scopri i set di dati

Devi scoprire un set di dati prima di esplorarne la derivazione. Seleziona Metadati dal pannello di navigazione a sinistra dell'interfaccia utente di Cloud Data Fusion per aprire la pagina Ricerca dei metadati. Poiché il set di dati Shipment Data Cleansing specificava Cleaned-Shipments come set di dati di riferimento, inserisci shipment nella casella di ricerca. I risultati di ricerca includono questo set di dati.

Utilizzo dei tag per individuare i set di dati

Una ricerca nei metadati scopre i set di dati che sono stati utilizzati, elaborati o generati dalle pipeline di Cloud Data Fusion. Le pipeline vengono eseguite su un framework strutturato che genera e raccoglie metadati tecnici e operativi. I metadati tecnici includono nome, tipo, schema, campi, ora di creazione e informazioni di elaborazione del set di dati. Queste informazioni tecniche vengono utilizzate dalle funzionalità di ricerca e derivazione dei metadati di Cloud Data Fusion.

Sebbene Reference Name di origini e sink sia un identificatore di set di dati univoco e un termine di ricerca eccellente, puoi utilizzare altri metadati tecnici come criteri di ricerca, ad esempio una descrizione del set di dati, uno schema, un nome di campo o un prefisso di metadati.

Cloud Data Fusion supporta anche l'annotazione di set di dati con metadati aziendali, come tag e proprietà chiave-valore, che possono essere utilizzati come criteri di ricerca. Ad esempio, per aggiungere e cercare un'annotazione dei tag aziendali nel set di dati di spedizione non elaborati:

1. Fai clic sul pulsante Proprietà del nodo Dati di spedizione non elaborati nella pagina Pipeline di pulizia dei dati di spedizione per aprire la pagina Proprietà di Cloud Storage.

2. Fai clic su Visualizza metadati per aprire la pagina Cerca.

3. In Tag aziendali, fai clic su +, poi inserisci il nome del tag (sono consentiti caratteri alfanumerici e trattini bassi) e premi Invio.

   

   Puoi eseguire una ricerca su un tag facendo clic sul suo nome o inserendo tags:tag_name nella casella di ricerca della pagina di ricerca Metadati.

Esplora derivazione

Derivazione a livello di set di dati

Fai clic sul nome del set di dati Cleaned-Shipments elencato nella pagina di ricerca (da Set di dati di Discover), quindi fai clic sulla scheda Derivazione. Il grafico di derivazione mostra che questo set di dati è stato generato dalla pipeline Shipments-Data-Cleansing, che ha utilizzato il set di dati Raw_Shipping_Data.

Le frecce sinistra e destra consentono di spostarsi avanti e indietro attraverso qualsiasi derivazione del set di dati precedente o successiva. In questo esempio, il grafico mostra la derivazione completa per il set di dati Cleaned-Shipments.

Derivazione a livello di campo

La derivazione a livello di campo di Cloud Data Fusion mostra la relazione tra i campi di un set di dati e le trasformazioni eseguite su un insieme di campi per produrre un insieme diverso. Come la derivazione a livello di set di dati, la derivazione a livello di campo è vincolata al tempo e i risultati cambiano nel tempo.

Proseguendo dal passaggio derivazione a livello di set di dati, fai clic sul pulsante Derivazione a livello di campo in alto a destra nel grafico di derivazione a livello di set di dati delle spedizioni pulite per visualizzare il relativo grafico di derivazione a livello di campo.

Il grafico della derivazione a livello di campo mostra le connessioni tra i campi. Puoi selezionare un campo per visualizzarne la derivazione. Seleziona Visualizza > Campo Blocca per visualizzare solo la derivazione di quel campo.

Seleziona Visualizza > Visualizza impatto per eseguire un'analisi dell'impatto.

I link causa e impatto mostrano le trasformazioni eseguite su entrambi i lati di un campo in un formato libro mastro leggibile. Queste informazioni possono essere essenziali per i report e la governance.

Esegui la pulizia

Per evitare che al tuo Account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial, elimina il progetto che contiene le risorse oppure mantieni il progetto ed elimina le singole risorse.

Dopo aver completato il tutorial, pulisci le risorse che hai creato su Google Cloud in modo che non occupino quota e non ti vengano addebitati costi in futuro. Le sezioni seguenti descrivono come eliminare o disattivare queste risorse.

Elimina il set di dati del tutorial

Questo tutorial crea un set di dati logistics_demo con diverse tabelle nel tuo progetto.

Puoi eliminare il set di dati dalla UI web di BigQuery nella console Google Cloud.

Elimina l'istanza di Cloud Data Fusion

Segui le istruzioni per eliminare l'istanza di Cloud Data Fusion.

Elimina il progetto

Il modo più semplice per eliminare la fatturazione è eliminare il progetto che hai creato per il tutorial.

Per eliminare il progetto:

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per le attività in questo documento, quando lo elimini elimini anche qualsiasi altro lavoro svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un URL appspot.com, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più architetture, tutorial o guide rapide, puoi riutilizzare i progetti ed evitare così di superare i limiti di quota.

1. Nella console Google Cloud, vai alla pagina Gestisci risorse.

   Vai a Gestisci risorse

2. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
3. Nella finestra di dialogo, digita l'ID del progetto e fai clic su Chiudi per eliminare il progetto.

Passaggi successivi

• Leggi le guide illustrative
• Segui un altro tutorial