Data Lineage

Data Lineage ist ein Dataplex eine Funktion, mit der Sie verfolgen können, wie sich Daten durch Ihre Systeme bewegen und woher sie kommen. wo sie übergeben wird und welche Transformationen darauf angewendet werden.

Warum benötigen Sie Data Lineage?

Der Umgang mit großen Datasets beinhaltet oft die Umwandlung von Daten in maßgeschneiderte Entitäten an die Anforderungen eines bestimmten Projekts angepasst: Textdateien, Tabellen, Berichte, Dashboards, Modelle.

Angenommen, Sie haben einen Onlineshop, in dem Sie jeden Kauf in einer einzelnen SQL-Tabelle. Um Ihren Analysefachkräften die Arbeit mit den Daten zu erleichtern, beginnen Sie mit der Ausführung von Jobs, die Informationen aus dieser Tabelle extrahieren kleinere Tabellen nach Region, Marke oder Sonderangebotspreis. Ihre Analysefachkräfte beginnen, das Gleiche zu tun: Sie führen weitere Transformationen durch und führen diese kleineren mit anderen Datenquellen kombinieren, um noch mehr Tabellen zu erstellen.

Dies kann für Ihre Stakeholder zu einer großen Herausforderung werden:

  • Datenkonsumenten können kein Self-Service-Tool verwenden, um zu erkennen, aus vertrauenswürdigen Quellen stammen.
  • Data Engineers können Probleme nicht aufgrund mangelnder zuverlässiger Methoden verursachen. um alle Datentransformationen zu verfolgen.
  • Data Engineers und Analysten können die möglichen Auswirkungen Tabellen ändern oder löschen.
  • Datenverantwortliche wissen nicht, wie sensible Daten im gesamten Unternehmen und stellen sicher, dass gesetzliche Vorschriften eingehalten werden.

Data Lineage ist eine Lösung, die eine praktische Möglichkeit bietet:

  • Verstehen, wie Daten mithilfe von Lineage abgerufen und transformiert werden grafische Visualisierungen.
  • Trace-Fehler im Zusammenhang mit Einträgen und Datenvorgängen zurück zum Stammverzeichnis Ursachen.
  • Ermöglichen Sie ein besseres Änderungsmanagement durch Wirkungsanalysen: Vermeiden Sie Ausfallzeiten oder Fehler zu vermeiden, abhängige Einträge zu verstehen und Stakeholdern zu kommunizieren.

Grafik zur Visualisierung der Herkunft

Lineage-Diagramme enthalten Informationen, die von der Data Lineage API erfasst wurden für einen bestimmten Data Catalog-Eintrag:

Die Beispielgrafik zeigt, wie Daten aus zwei Tabellen transformiert und dann zusammengeführt werden in einer neuen Tabelle mit einem Detailbereich, in dem SQL-Code angezeigt wird, der am unteren Rand angedockt ist.
Abbildung 1. Beispiel für ein Lineage-Visualisierungsdiagramm in der Dataplex-UI.

Dataplex verwendet die Data Lineage API, um Einträge zu identifizieren, Der voll qualifizierte Name stimmt mit Entitäten überein, die von der Data-Lineage erkannt werden. Für übereinstimmende Dataplex-Einträge können Sie auf die Lineage zugreifen auf der Detailseite und sehen sich das Diagramm an.

Lineage-Diagramme enthalten zwei Arten von Elementen:

  • Breite, rechteckige Schaltflächen, die Elemente darstellen, die an Erstellung von Lineage-Informationen als Quellen oder Ziele eines Lineage-Ereignisses
  • Kleinere, quadratische Schaltflächen, die Prozesse darstellen, die für die Erstellung oder Aktualisierung von die Quell- oder Zielentitäten. Die Prozessschaltflächen nutzen für das Quellsystem spezifische Symbole, die Data Lineage API gemeldet. Beispiel: BigQuery-Jobs verwenden Sie die Symbol für BigQuery-Herkunftsprozess-Symbol.
<ph type="x-smartling-placeholder">

Data-Lineage-Informationsmodell

In ihrer Grundform ist die Lineage ein Datensatz der transformierten Daten von Quellen zu Zielen. Die Data Lineage API erhebt diese Informationen und organisiert sie in einem hierarchischen Datenmodell unter Verwendung der Konzepte von Prozessen, Läufe und Ereignisse.

Prozess

Ein Prozess ist die Definition eines Datentransformationsvorgangs, der für einem bestimmten System. Im Kontext der BigQuery-Lineage process gehört zu den unterstützten Jobtypen.

Ausführen

Ausführung ist die Ausführung eines Prozesses. Prozesse können mehrere Ausführungen haben. Ausführungen enthalten Details wie Start- und Endzeiten, Status oder zusätzliche Attribute. Weitere Informationen finden Sie in der run-Ressourcenreferenz.

Ereignis

Ein Ereignis stellt einen Zeitpunkt dar, zu dem ein Datentransformationsvorgang ausgeführt wurde. und dazu führten, dass Daten zwischen einer Quell- und einer Zielentität verschoben wurden.

Ereignisse enthalten eine Liste von Links, die definieren, welcher Eintrag die Quelle war. und das Ziel eines bestimmten Ereignisses war. Während Ereignisse für die Berechnung Grafiken zur Visualisierung der Herkunft, die nicht direkt in der Google Cloud Console angezeigt werden. Sie können sie mit der Data Lineage API erstellen, lesen und löschen (aber nicht aktualisieren).

Beispiel

Im folgenden Beispiel werden Daten zwischen BigQuery kopiert Tabellen:

<ph type="x-smartling-placeholder">
</ph> Im Beispiel werden Daten aus Tabellen mit dem Namen „customer_year“ und „customers“ extrahiert, um eine Tabelle mit dem Namen „top_customer“ abzuleiten. <ph type="x-smartling-placeholder">
</ph> Abbildung 2: Beispiel für ein Diagramm mit den Quellen von Tabellendaten.

Wie Daten zwischen den Tabellen verschoben werden, wird durch den Lineage-Prozess beschrieben. (in der Grafik durch die Symbol für BigQuery-Herkunftsprozess icon): Das kann eine CREATE TABLE AS SELECT-SQL-Abfrage oder eine INSERT-Anweisung sein.

Jede Ausführung dieser SQL-Anweisung stellt eine einzelne run dar. Ausführungen enthalten Ereignisse, mit denen aufgezeichnet wird, welche Tabellen als Quellen und die als Ziele verwendet werden. In diesem Beispiel sind die Tabellen customer_year und customers sind beides die Quelle. für die Zieltabelle top_customer.

Automatisierte Verfolgung der Herkunft der Daten

Wenn Sie die Data Lineage API aktivieren, werden Google Cloud-Systeme, die Data Lineage beginnen, ihre Datenbewegungen zu melden. Jedes integrierte System kann Herkunftsinformationen für Daten aus einem anderen Bereich. In den folgenden Abschnitten finden Sie weitere Informationen zu alle unterstützten Produkte.

<ph type="x-smartling-placeholder">

BigQuery

Gründe für das Aktivieren der Data Lineage im BigQuery-Projekt Dataplex erfasst Lineage-Informationen für:

BigQuery-Kopier-, Abfrage- und Ladejobs werden dargestellt. Prozesse (klicken Sie auf das Suchglassymbol im Lineage-Visualisierungsdiagramm, um den Prozess Details). Jeder Prozess enthält die BigQuery-job_id. in der attributes Liste für den letzten BigQuery-Job.

Weitere Services

Data Lineage unterstützt die Integration mit Google Cloud-Dienste:

Data Lineage für benutzerdefinierte Datenquellen

Sie können die Data Lineage API verwenden. Dataplex Lineage-Informationen manuell für jede Datenquelle aufzuzeichnen, die nicht die von den integrierten Systemen unterstützt werden.

Dataplex kann Visualisierungsdiagramme für manuell aufgezeichnete Daten erstellen Lineage, wenn Sie eine fullyQualifiedNames enthalten, die dem qualifizierter Namen vorhandener Data Catalog-Einträge. Wenn Sie Herkunft für eine benutzerdefinierte Datenquelle verwenden möchten, erstellen Sie zuerst eine benutzerdefinierten Data Catalog-Eintrag.

Jeder Prozess für eine benutzerdefinierte Datenquelle kann in den Attributen den Schlüssel sql enthalten Liste. Der Wert eines solchen Schlüssels wird verwendet, um die Codehervorhebung im Detail zu rendern des Data-Lineage-Diagramms. SQL-Anweisung wird so angezeigt, wie sie war bereitgestellt. Der Nutzer ist dafür verantwortlich, vertrauliche Informationen herauszufiltern. Die Beim Schlüsselnamen sql wird zwischen Groß- und Kleinschreibung unterschieden.

OpenLineage

Wenn Sie OpenLineage bereits verwenden, um Lineage-Informationen von anderen können Sie OpenLineage-Ereignisse in Dataplex importieren und um diese Ereignisse in der Google Cloud Console anzuzeigen. Weitere Informationen finden Sie unter In OpenLineage einbinden

Aktuelle Funktionseinschränkungen

  • Alle Herkunftsinformationen werden nur 30 Tage im System aufbewahrt.
  • Herkunftsinformationen bleiben erhalten, nachdem Sie die zugehörige Datenquelle entfernt haben. Das heißt, wenn Sie eine BigQuery-Tabelle und ihren Data Catalog entfernen können Sie die Herkunft für diese Tabelle mit der API noch bis zu 30 Tage:

Auf Datenherkunft zugreifen

Sie können auf Data Lineage-Funktionen zugreifen:

Nächste Schritte