Sebbene spesso utilizzati insieme, la derivazione e la provenienza dei dati si concentrano su aspetti diversi del percorso dei dati.

• La derivazione dei dati esamina il percorso dei dati da una prospettiva macro, storica e strategica. Si concentra sul percorso completo e sulla logica di trasformazione che hanno portato allo stato attuale di un asset di dati. È l'intera mappa.
• La provenienza dei dati è più granulare e specifica, spesso incentrata sull'origine immediata e sulla proprietà di un punto dati o di un record specifico in un singolo momento. Viene spesso utilizzata per autenticare l'origine di un dato.

In breve, la derivazione mostra l'intera evoluzione dei dati nel tempo e tra i sistemi, mentre la provenienza spesso si concentra sull'origine e sull'autenticità di un particolare elemento di dati.

Una buona mappa di derivazione dei dati può aiutarti a rispondere rapidamente alle domande "chi, cosa, quando, dove e perché" su qualsiasi asset di dati. I componenti essenziali monitorati includono quanto segue.

• Origine: il luogo in cui sono stati creati i dati, ad esempio un database transazionale, un file o un sistema esterno.
• Logica di trasformazione: le operazioni specifiche o le regole aziendali applicate ai dati; possono includere query SQL, script Python o logica dei job ETL (Extract, Transform, Load).
• Percorso/Flusso: la sequenza di sistemi, processi e datastore attraverso cui si spostano i dati.
• Data/Versione: quando sono stati elaborati i dati e quale versione dei dati o della logica di trasformazione è stata utilizzata.
• Destinazione/Consumatore: il luogo in cui i dati vengono archiviati e chi o cosa li ha utilizzati, ad esempio un report normativo o una macchina.

La derivazione dei dati può essere monitorata in diverse fasi del ciclo di vita dello sviluppo dei dati e a vari livelli di dettaglio, a seconda delle necessità.

La derivazione in fase di progettazione acquisisce il flusso di dati mentre viene progettato e configurato negli ambienti di sviluppo e test. Si basa sulla lettura dei progetti delle pipeline di dati, come gli schemi, gli script e le configurazioni dei job ETL. Indica cosa dovrebbe succedere ai dati.

La derivazione di runtime acquisisce il flusso di dati così come avviene effettivamente nell'ambiente di produzione. Registra gli input e gli output specifici dei processi e dei job eseguiti. Ti dice cosa è successo ai dati, compresi eventuali comportamenti imprevisti o errori. Per la governance dei dati, la derivazione di runtime è spesso considerata più preziosa perché riflette la realtà.

Il livello di dettaglio acquisito è chiamato granularità. Le organizzazioni scelgono un livello di granularità in base alle loro esigenze di governance dei dati e alla complessità tecnica del loro ambiente.

• A livello di tabella: monitora il flusso di dati tra intere tabelle o set di dati; mostra che "Tabella clienti A" è confluita in "Tabella report vendite B".
• Esempio: un sistema mostra che l'intera tabella raw_transactions è stata caricata nella tabella daily_aggregations.
• A livello di colonna: monitora il flusso di dati da una colonna di origine a una colonna di destinazione, comprese le trasformazioni applicate; spesso è necessario per la conformità.
• Esempio: monitora che la colonna customer_id del database di origine è stata rinominata user_key nel data warehouse e quindi utilizzata come parte di un join per creare final_report.
• A livello di report: monitora quali report, dashboard o applicazioni utilizzano quali tabelle e colonne; questo è fondamentale per l'analisi dell'impatto e la fiducia degli utenti aziendali.
• Esempio: un analista aziendale può risalire a una metrica sulla dashboard delle vendite esecutive fino alle colonne e alle tabelle specifiche utilizzate nel suo calcolo.
• End-to-end: fornisce una visione completa di tutti i sistemi, dall'applicazione di origine iniziale (come un CRM) a tutti i passaggi di gestione temporanea, pulizia e trasformazione, fino al report finale o al modello di machine learning.
• Esempio: monitoraggio del percorso di un singolo cliente da quando si è registrato per la prima volta (dati acquisiti nel database dell'app web) fino al riepilogo del suo utilizzo nell'output del modello di previsione dell'abbandono.