In diesem Dokument finden Sie Informationen zur Einhaltung der Anforderungen an die Datenabfolge und zu den Einschränkungen. Die Datenherkunft wird pro Projekt und nicht pro System aktiviert. Das bedeutet, dass nach der Aktivierung der Data Lineage API Herkunftsinformationen je nach Herkunftssteuerung auf Produktebene für mehrere Systeme im Projekt automatisch erfasst werden können.
Das automatische Abstammungs-Tracking wird für die folgenden Systeme unterstützt:
| System | Verfügbare Einstellungen für die Herkunft |
|---|---|
| BigQuery, Cloud Data Fusion |
Wenn die Data Lineage API in einem Projekt aktiviert ist, kann die Herkunftsverfolgung nicht auf Cloud Data Fusion oder BigQuery beschränkt werden. |
| Cloud Composer | Cloud Composer verwendet die Integrationssteuerung für die Datenherkunft auf Umgebungsebene. Die Datenherkunft wird für alle neuen Cloud Composer-Umgebungen automatisch aktiviert, sofern sie die Anforderungen erfüllen. Weitere Informationen finden Sie unter Datenherkunft mit Dataplex. Bei vorhandenen Umgebungen können Sie die Datenabstammungsintegration in den Umgebungseinstellungen aktivieren oder deaktivieren. |
| Dataproc | Mit Dataproc Spark-Jobs können Sie Herkunftsereignisse erfassen und in der Data Lineage API veröffentlichen. Weitere Informationen finden Sie unter Data Lineage Dataproc-Integration. |
| Vertex AI | Die Datenabstammung ist für Vertex AI-Artefakte und ‑Parameter wie Modelle, Datasets, Pipeline-Vorlagen und Komponenten automatisch aktiviert. Die Herkunft einer Pipeline umfasst Faktoren, die zu ihrer Erstellung beigetragen haben, sowie Artefakte und Metadaten, die danach abgeleitet wurden. Weitere Informationen finden Sie unter Herkunft von Pipeline-Artefakten verfolgen. |
Auswirkungen auf die Abrechnung
Wenn Sie die Data Lineage API für ein Projekt aktivieren, prüfen Sie die Auswirkungen auf Ihre Abrechnungskosten, da die Data Lineage API pro Projekt aktiviert wird. Weitere Informationen finden Sie im vorherigen Abschnitt.
Bei Multiregionen wie der Europäischen Union (eu), Asien (asia) und den USA (us) sowie bei BigQuery Omni wird die Verarbeitung von Abfolgen auf bestimmte Regionen verteilt. Die Kosten hängen von den Regionen ab, in denen die Verarbeitung erfolgt (siehe Beispiele für Data Catalog-Preise).
Compliance mit der Datenherkunft
- In der Datenabfolge werden Metadaten zur Datenübertragung aufgezeichnet, die Daten selbst werden jedoch nicht erfasst. Weitere Informationen dazu, welche Felder in den Metadaten enthalten sind, finden Sie im Informationsmodell für die Datenherkunft und in der Data Lineage API-Referenz.
- Data Lineage als Teil von Dataplex bietet VPC-SC-Unterstützung.
- In Dataplex können keine vom Kunden verwalteten Verschlüsselungsschlüssel zum Schutz der abgerufenen Herkunftsmetadaten verwendet werden.
Einschränkungen bei der Datenherkunft
Wenn Sie einen Knoten im Stammbaumdiagramm auswählen, ist die Seitenleiste mit den Knotendetails in folgenden Fällen leer:
- die Ressourcen sich in einer anderen Organisation befinden oder
- der Nutzer kein Mitglied der Organisation ist, die die Ressource hostet.