Datenherkunft und Datenprovenienz werden zwar oft zusammen verwendet, konzentrieren sich aber auf unterschiedliche Aspekte des Datenlebenszyklus.

• Die Datenherkunft betrachtet den Weg der Daten aus einer makroökonomischen, historischen und strategischen Perspektive. Sie konzentriert sich auf den gesamten Pfad und die Transformationslogik, die zum aktuellen Zustand eines Daten-Assets geführt haben. Gemeint ist hier das große Bild.
• Die Datenprovenienz ist detaillierter und spezifischer und konzentriert sich oft auf die unmittelbare Quelle und das Eigentum eines bestimmten Datenpunkts oder Datensatzes zu einer bestimmten Zeit. Sie wird häufig verwendet, um die Herkunft von Daten zu authentifizieren.

Kurz gesagt: Die Datenherkunft zeigt die gesamte Entwicklung von Daten über die Zeit und über Systeme hinweg, während sich die Datenprovenienz oft auf die Quelle und Authentizität eines bestimmten Datenelements konzentriert.

Eine gute Darstellung der Datenherkunft kann Ihnen helfen, die Fragen „Wer, was, wann, wo und warum“ schnell für beliebige Daten-Assets zu beantworten. Zu den wichtigsten erfassten Komponenten gehören:

• Quelle: Woher die Daten stammen, z. B. aus einer Transaktionsdatenbank, einer Datei oder einem externen System.
• Transformationslogik: Die spezifischen Operationen oder Geschäftsregeln, die auf die Daten angewendet werden; dies können SQL-Abfragen, Python-Scripts oder eine ETL-Joblogik (Extract, Transform, Load) sein.
• Pfad/Ablauf: Die Abfolge an Systemen, Prozessen und Datenspeichern, durch die die Daten fließen.
• Zeit/Version: Wann die Daten verarbeitet wurden und welche Version der Daten oder der Transformationslogik verwendet wurde.
• Ziel/Verbraucher: Der endgültige Speicherort der Daten und wer oder was sie verwendet hat, z. B. ein behördlicher Bericht oder eine Maschine.

Die Datenherkunft kann in verschiedenen Phasen des Datenentwicklungs-Lebenszyklus und auf verschiedenen Detailebenen nachverfolgt werden, je nach Bedarf.

Die Design-Time-Lineage erfasst den Datenfluss während der Entwicklung und Konfiguration in Entwicklungs- und Testumgebungen. Sie basiert auf dem Lesen der Blaupausen der Datenpipelines, z. B. Schemas, Skripts und ETL-Jobkonfigurationen. Sie gibt an, was mit den Daten geschehen soll.

Die Laufzeit-Lineage erfasst den Datenfluss, wie er tatsächlich in der Produktionsumgebung stattfindet. Sie zeichnet die spezifischen Eingaben und Ausgaben ausgeführter Jobs und Prozesse auf. Sie sagt Ihnen, was mit den Daten passiert ist, einschließlich unerwartetem Verhalten oder Fehlern. Im Rahmen der Data Governance wird die Laufzeit-Lineage oft als wichtiger angesehen, da sie die Realität widerspiegelt.

Der Detaillierungsgrad erfasster Daten wird als Granularität bezeichnet. Unternehmen wählen den Detaillierungsgrad basierend auf ihren Anforderungen an die Data Governance und der technischen Komplexität ihrer Umgebung.

• Auf Tabellenebene: Verfolgt den Datenfluss zwischen ganzen Tabellen oder Datasets. Es wird angezeigt, dass „Kundentabelle A“ in „Umsatzberichtstabelle B“ geflossen ist.
• Beispiel: Ein System zeigt, dass die gesamte Tabelle „raw_transactions“ in die Tabelle „daily_aggregations“ geladen wurde.
• Spaltenebene: Verfolgt den Datenfluss von einer Quellspalte zu einer Zielspalte, einschließlich der angewandten Transformationen. Dies ist oft für die Compliance erforderlich.
• Beispiel: Es wird nachverfolgt, dass die Spalte „customer_id“ aus der Quelldatenbank im Data Warehouse in „user_key“ umbenannt und dann als Teil eines Joins verwendet wurde, um den abschließenden Bericht zu erstellen.
• Berichtsebene: Hier wird erfasst, welche Berichte, Dashboards oder Anwendungen welche Tabellen und Spalten aufnehmen. Dies ist entscheidend für die Wirkungsanalyse und das Vertrauen der Geschäftsnutzer.
• Beispiel: Ein Business Analyst kann einen Messwert im Dashboard „Executive Sales“ bis zu den spezifischen Spalten und Tabellen zurückverfolgen, die für dessen Berechnung verwendet wurden.
• End-to-end: Bietet eine vollständige Übersicht über alle Systeme, von der ursprünglichen Quellanwendung (z. B. ein CRM) über alle Staging-, Bereinigungs- und Transformationsschritte bis hin zum endgültigen Bericht oder Machine-Learning-Modell.
• Beispiel: Die Customer Journey eines einzelnen Kunden wird verfolgt, von der ersten Registrierung (in der Datenbank der Webanwendung erfasst) bis zur Zusammenfassung der Nutzung in der Ausgabe des Modells zur Vorhersage der Kundenabwanderung.