Data Lineage wird pro Projekt aktiviert. Sobald Sie die Data Lineage API aktivieren, können die Herkunftsinformationen für mehrere Systeme automatisch gemeldet werden, je nach ihrer Steuerung auf Produktebene.
Die automatische Herkunftsverfolgung wird für die folgenden Systeme unterstützt:
| System | Verfügbare Herkunftseinstellungen |
|---|---|
| BigQuery, Cloud Data Fusion |
Es ist nicht möglich, das Lineage-Tracking auf Cloud Data Fusion oder BigQuery zu beschränken, wenn die Data Lineage API in einem Projekt aktiviert ist. |
| Cloud Composer | Cloud Composer verwendet die Einbindungssteuerung für Data Lineage auf Umgebungsebene. Data Lineage wird automatisch für alle neuen Cloud Composer-Umgebungen aktiviert, sofern sie die Anforderungen erfüllen. Weitere Informationen finden Sie unter Data Lineage mit Dataplex. Für vorhandene Umgebungen können Sie die Einbindung von Data Lineage in den Umgebungseinstellungen aktivieren oder deaktivieren. |
| Dataproc | Dataproc Spark-Jobs können Lineage-Ereignisse erfassen und in der Data Lineage API veröffentlichen. Weitere Informationen finden Sie unter Data Lineage-Integration von Dataproc. |
| Vertex AI | Data Lineage ist automatisch für Vertex AI-Artefakte und -Parameter wie Modelle, Datasets, Pipelinevorlagen und Komponenten aktiviert. Die Herkunft einer Pipeline umfasst Faktoren, die zu ihrer Erstellung beigetragen haben, sowie danach abgeleitete Artefakte und Metadaten. Weitere Informationen finden Sie unter Herkunft von Pipelineartefakten verfolgen. |
Auswirkungen auf die Abrechnung
Wenn Sie die Data Lineage API für ein Projekt aktivieren, sollten Sie prüfen, wie sich dies auf Ihre Abrechnungsgebühren auswirkt, da die Data Lineage API auf Projektbasis aktiviert wird. Weitere Informationen finden Sie im vorherigen Abschnitt.
Bei Mehrfachregionen wie der Europäischen Union (eu), Asien (asia) und den USA (us) sowie bei BigQuery Omni ist die Lineage-Verarbeitung auf bestimmte Regionen verteilt. Die Kosten hängen von den Regionen ab, in denen die Verarbeitung stattfindet (siehe Data Catalog-Preisbeispiele).
Data Lineage-Compliance
- Data Lineage zeichnet Metadaten zur Datenbewegung auf, erfasst jedoch nicht die Daten selbst. Informationen zu den Feldern in den Metadaten finden Sie unter Data Lineage-Informationsmodell und Data Lineage API-Referenz.
- Data Lineage als Teil von Dataplex bietet VPC-SC-Unterstützung.
- Dataplex bietet derzeit keine Möglichkeit, vom Kunden verwaltete Verschlüsselungsschlüssel zu verwenden, um die abgerufenen Lineage-Metadaten zu schützen.
Einschränkungen der Data Lineage
Wenn Sie einen Knoten im Herkunftsdiagramm auswählen, ist die Seitenleiste mit den Knotendetails in folgenden Fällen leer:
- befinden sich die Ressourcen in einer anderen Organisation oder
- Der Nutzer ist kein Mitglied der Organisation, die die Ressource hostet.