La derivazione dei dati è un Dataplex che consente di tenere traccia del movimento dei dati nei sistemi: a dove vengono da dove viene trasmesso e quali trasformazioni vengono applicate.
Perché è necessaria la derivazione dei dati?
Affrontare grandi set di dati comporta spesso la loro trasformazione in entità su misura alle esigenze di un progetto specifico: file di testo, tabelle, report, dashboard, modelli.
Ad esempio, immagina di avere un negozio online in cui registri tutti gli acquisti in una singola tabella SQL. Per semplificare l'utilizzo dei dati da parte degli analisti, inizierai a eseguire job che estraggono informazioni da questa singola tabella e produrre tabelle più piccole per regione, marca o prezzo scontato. I tuoi analisti quindi iniziano a fare lo stesso: eseguono ulteriori trasformazioni, unendo queste più piccole con altre origini dati per produrre ancora più tabelle.
Questo può diventare una grande sfida per gli stakeholder:
- I consumatori dei dati non possono utilizzare uno strumento self-service per capire se i dati provengono provenienti da una fonte autorevole.
- I data engineer non possono determinare la causa dei problemi perché non sono dotati di sistemi per monitorare tutte le trasformazioni dei dati.
- I data engineer e gli analisti non sono in grado di valutare appieno il possibile impatto prima modificare o eliminare le tabelle.
- I governatori dei dati non possono capire come vengono utilizzati i dati sensibili l'organizzazione e garantire il rispetto dei requisiti normativi.
La derivazione dei dati è una soluzione che offre un modo pratico per:
- Capire come vengono acquisiti e trasformati i dati con l'aiuto della derivazione e visualizzazioni grafici.
- Trace gli errori relativi a voci e operazioni sui dati alla loro radice cause.
- Migliora la gestione dei cambiamenti attraverso l'analisi dell'impatto: evita tempi di inattività gli errori imprevisti, comprendere le voci dipendenti e collaborare gli stakeholder interessati.
Grafico di visualizzazione della derivazione
I grafici di derivazione rappresentano le informazioni raccolte dall'API Data Lineage per una particolare voce di Data Catalog:
Dataplex funziona con l'API Data Lineage per identificare le voci la cui il nome completo corrisponde alle entità riconosciute dalla derivazione dei dati. Per le voci Dataplex corrispondenti, puoi accedere alla derivazione scheda sulla pagina dei dettagli e visualizzare il grafico.
I grafici di derivazione mostrano due tipi di elementi:
- Pulsanti rettangolari larghi che rappresentano entità coinvolte in creare informazioni sulla derivazione come origini o target di un evento di derivazione.
- Pulsanti quadrati più piccoli che rappresentano i processi responsabili della creazione o dell'aggiornamento
le entità di origine o di destinazione. I pulsanti per la procedura utilizzano icone specifiche del sistema di origine che
e le ha segnalate all'API Data Lineage. Ad esempio, job BigQuery
utilizza la
Icona di
.
Modello di informazioni sulla derivazione dei dati
Nella sua forma di base, la derivazione è un record dei dati che vengono trasformati da sorgenti a target. L'API Data Lineage raccoglie queste informazioni e li organizza in un modello dei dati gerarchico utilizzando i concetti di processi, corse ed eventi.
Processo
Un processo è la definizione di un'operazione di trasformazione dei dati supportata
di un sistema specifico. Nel contesto della derivazione di BigQuery,
un process è uno dei tipi di job supportati.
Esegui
Per esecuzione si intende l'esecuzione di un processo. I processi possono avere più esecuzioni.
Le esecuzioni contengono dettagli come ora di inizio e di fine, stato o attributi aggiuntivi.
Per ulteriori informazioni, consulta
Riferimento della risorsa run.
Evento
Un evento rappresenta un momento in cui un'operazione di trasformazione dei dati ha richiesto luogo e ha determinato lo spostamento dei dati tra un'entità di origine e un'entità target.
Gli eventi contengono un elenco di link che definiscono la voce come origine e quale era il target in un determinato evento. Mentre gli eventi sono utilizzati per calcolare grafici di visualizzazione della derivazione, non sono esposti direttamente nella console Google Cloud. Puoi crearle, leggerle ed eliminarle (ma non aggiornarle) utilizzando l'API Data Lineage.
Esempio
Considera l'esempio seguente in cui i dati vengono copiati tra BigQuery tabelle:
Il modo in cui i dati si spostano tra le tabelle è descritto dal processo di derivazione
(rappresentata nel grafico dalla
: potrebbe essere una query SQL CREATE TABLE AS SELECT o un'istruzione INSERT.
Ogni esecuzione di quell'istruzione SQL rappresenterebbe una singola esecuzione.
Le esecuzioni contengono eventi, ovvero record delle tabelle utilizzate come origini e
che sono gli obiettivi. In questo esempio, le tabelle
customer_year e customers sono entrambe le fonti
per la tabella target top_customer.
Monitoraggio automatizzato della derivazione dei dati
Quando abiliti l'API Data Lineage, i sistemi Google Cloud che supportano la derivazione dei dati inizierà a segnalare lo spostamento dei dati. Ogni sistema integrato può inviare informazioni sulla derivazione per diverse origini dati. Per ulteriori dettagli su ogni prodotto supportato.
BigQuery
Cause dell'abilitazione della derivazione dei dati nel tuo progetto BigQuery Dataplex per registrare automaticamente le informazioni sulla derivazione per:
- Nuove tabelle derivanti dai seguenti job BigQuery:
- Job di copia
- Job di caricamento che utilizzano URI Cloud Storage da cui caricare i dati in qualsiasi formato consentito Cloud Storage*
- Eseguire query su job che utilizzano i seguenti dati Definition Language (DDL) in SQL standard di Google:
- Tabelle esistenti a seguito dell'utilizzo della seguente manipolazione dei dati
del linguaggio (DML) nell'SQL standard di Google:
- SELEZIONA in relazione a uno qualsiasi dei tipi di tabella elencati:
- INSERISCI SELEZIONE
- UNISCI
- AGGIORNA
- ELIMINA
Sono rappresentati i job di copia, query e caricamento di BigQuery
come processi (fai clic sull'icona a forma di specchio)
sul grafico di visualizzazione della derivazione per vedere il processo
dettagli). Ogni processo contiene il job_id di BigQuery
nel
attributi
per il job BigQuery più recente.
Altri servizi
La derivazione dei dati supporta l'integrazione con Servizi Google Cloud:
Derivazione dei dati per origini dati personalizzate
Puoi utilizzare l'API Data Lineage in Dataplex per registrare manualmente le informazioni sulla derivazione per qualsiasi origine dati che non sia supportate dai sistemi integrati.
Dataplex può creare grafici di visualizzazione per i dati registrati manualmente
se utilizzi una derivazione
fullyQualifiedNames che corrispondono alla definizione
nomi qualificati di voci di Data Catalog esistenti. Se vuoi registrare
per un'origine dati personalizzata, devi prima creare
voce personalizzata di Data Catalog.
Ogni processo per l'origine dati personalizzata può contenere sql chiave negli attributi
dall'elenco di lettura. Il valore di questa chiave verrà utilizzato per visualizzare l'evidenziazione del codice nei dettagli
riquadro del grafico della derivazione dei dati. L'istruzione SQL verrà visualizzata così com'era
fornito. L'utente ha la responsabilità di filtrare le informazioni sensibili. La
il nome della chiave sql è sensibile alle maiuscole.
OpenLineage
Se stai già utilizzando OpenLineage per raccogliere informazioni sulla derivazione da altri di origini dati, puoi importare eventi OpenLineage in Dataplex e visualizzare questi eventi nella console Google Cloud. Per maggiori dettagli, vedi Eseguire l'integrazione con OpenLineage.
Limitazioni delle funzionalità attuali
- Tutte le informazioni sulla derivazione vengono conservate nel sistema solo per 30 giorni.
- Le informazioni sulla derivazione vengono mantenute dopo la rimozione dell'origine dati correlata. Vale a dire, se rimuovi una tabella BigQuery e il relativo Data Catalog puoi comunque leggere la derivazione per quella tabella utilizzando l'API per un massimo di 30 giorni.
Accedi alla derivazione dei dati
Puoi accedere alle funzionalità di derivazione dei dati utilizzando:
- Pagine dei dettagli delle voci nella UI di Dataplex nella console Google Cloud. Vedi Visualizzare i grafici della derivazione.
- Pagina dei dettagli della tabella nella UI di BigQuery nella console Google Cloud. Vedi Visualizzare i grafici della derivazione.
- Pagine del set di dati e del registro dei modelli nella UI di Vertex AI nella console Google Cloud. Vedi Visualizzare i grafici della derivazione.
- API Data Lineage
Passaggi successivi
Scopri come monitorare la derivazione dei dati per la copia di una tabella BigQuery ed eseguire query sui job.
Scopri come utilizzare la derivazione dei dati con i sistemi di Google Cloud.
Per informazioni amministrative, consulta le sezioni IAM aggiornate, le valutazioni sulla derivazione e l'audit logging della derivazione dei dati.