Data Lineage wird pro Projekt aktiviert. Sobald Sie die Data Lineage API aktiviert haben, können also Herkunftsinformationen je nach Herkunftssteuerung auf Produktebene automatisch für mehrere Systeme gemeldet werden.
Die automatische Herkunftsverfolgung wird für die folgenden Systeme unterstützt:
| System | Verfügbare Einstellungen für die Herkunft |
|---|---|
| BigQuery, Cloud Data Fusion |
Es ist nicht möglich, das Herkunfts-Tracking auf Cloud Data Fusion oder BigQuery zu beschränken, wenn die Data Lineage API in einem Projekt aktiviert ist. |
| Cloud Composer | Cloud Composer verwendet die Steuerung für die Einbindung der Datenherkunft auf Umgebungsebene. Data Lineage wird für alle neuen Cloud Composer-Umgebungen automatisch aktiviert, sofern sie die Anforderungen erfüllen. Weitere Informationen finden Sie unter Data Lineage mit Dataplex. Für vorhandene Umgebungen können Sie die Einbindung von Data Lineage in den Umgebungseinstellungen aktivieren oder deaktivieren. |
| Dataproc | Mit Dataproc Spark-Jobs können Sie Herkunftsereignisse erfassen und in der Data Lineage API veröffentlichen. Weitere Informationen finden Sie unter Dataproc-Integration für Data Lineage. |
| Vertex AI | Die Datenherkunft wird automatisch für Vertex AI-Artefakte und -Parameter wie Modelle, Datasets, Pipelinevorlagen und Komponenten aktiviert. Die Herkunft einer Pipeline umfasst Faktoren, die zu ihrer Erstellung beigetragen haben, sowie Artefakte und Metadaten, die danach abgeleitet wurden. Weitere Informationen finden Sie unter Herkunft von Pipelineartefakten verfolgen. |
Auswirkungen auf die Abrechnung
Wenn Sie die Data Lineage API für ein Projekt aktivieren, sollten Sie sich die Auswirkungen auf Ihre Abrechnungsgebühren ansehen, da die Data Lineage API pro Projekt aktiviert ist. Weitere Informationen finden Sie im vorherigen Abschnitt.
Bei Multiregionen wie der Europäischen Union (eu), Asien (asia) und den USA (us) sowie für BigQuery Omni wird die Herkunftsverarbeitung auf bestimmte Regionen verteilt. Die Kosten hängen von den Regionen ab, in denen die Verarbeitung durchgeführt wird (siehe Data Catalog-Preisbeispiele).
Data Lineage-Compliance
- Data Lineage zeichnet Metadaten zur Datenbewegung auf, erfasst jedoch nicht die Daten selbst. Weitere Informationen dazu, welche Felder in den Metadaten enthalten sind, finden Sie im Informationsmodell zur Datenherkunft und in der Referenz zur Data Lineage API.
- Data Lineage als Teil von Dataplex bietet VPC-SC-Unterstützung.
- Dataplex bietet derzeit keine Möglichkeit, vom Kunden verwaltete Verschlüsselungsschlüssel zum Schutz der abgerufenen Herkunftsmetadaten zu verwenden.
Einschränkungen bei Data Lineage
Wenn Sie einen Knoten im Herkunftsdiagramm auswählen, ist die Seitenleiste mit den Knotendetails in folgenden Fällen leer:
- wenn sich die Ressource in einem anderen Unternehmen befindet oder
- Der Nutzer ist kein Mitglied der Organisation, die die Ressource hostet.