Data Lineage wird pro Projekt aktiviert, nicht auf pro System. Nachdem Sie die Data Lineage API aktiviert haben, werden die Herkunftsinformationen automatisch für mehrere Systeme im Projekt gemeldet werden, je nachdem, die Herkunft jedes Systems auf Produktebene steuern.
Die automatische Herkunftsverfolgung wird für die folgenden Systeme unterstützt:
| System | Verfügbare Herkunftseinstellungen |
|---|---|
| BigQuery, Cloud Data Fusion |
Es ist nicht möglich, das Lineage-Tracking nur auf Cloud Data Fusion zu beschränken. oder BigQuery, wenn die Data Lineage API in einem Projekt aktiviert ist. |
| Cloud Composer | Cloud Composer verwendet die Integrationssteuerung für die Datenherkunft auf Umgebungsebene. Data Lineage wird automatisch sind für alle neuen Cloud Composer-Umgebungen aktiviert, sofern sie die Anforderungen. Weitere Informationen finden Sie unter Datenherkunft mit Dataplex. Bei vorhandenen Umgebungen können Sie die Datenabstammungsintegration in den Umgebungseinstellungen aktivieren oder deaktivieren. |
| Dataproc | Mit Dataproc Spark-Jobs können Herkunftsereignisse erfasst und in der Data Lineage API veröffentlicht werden. Weitere Informationen finden Sie unter Data Lineage-Integration von Dataproc. |
| Vertex AI | Data Lineage ist automatisch für Vertex AI-Artefakte und -Parameter wie Modelle, Datasets, Pipelinevorlagen und Komponenten aktiviert. Die Herkunft einer Pipeline umfasst Faktoren, die zu ihrer Erstellung beigetragen haben, sowie danach abgeleitete Artefakte und Metadaten. Weitere Informationen finden Sie unter Herkunft von Pipeline-Artefakten verfolgen. |
Auswirkungen auf die Abrechnung
Wenn Sie die Data Lineage API für ein Projekt aktivieren, Auswirkungen auf Ihre Abrechnungsgebühren, da die Data Lineage API aktiviert ist auf Pro-Projekt-Basis (Details siehe vorherigen Abschnitt).
Bei Multiregionen wie der Europäischen Union (eu), Asien (asia) und den USA (us) sowie bei BigQuery Omni wird die Verarbeitung von Abfolgen auf bestimmte Regionen verteilt. Die Kosten hängen von den Regionen ab, in denen die Verarbeitung erfolgt (siehe Beispiele für Data Catalog-Preise).
Compliance mit der Datenherkunft
- Data Lineage zeichnet Metadaten über Datenbewegungen auf, aber aber nicht die Daten selbst. Weitere Informationen dazu, welche Felder in den Metadaten enthalten sind, finden Sie im Informationsmodell für die Datenherkunft und in der Data Lineage API-Referenz.
- Data Lineage als Teil von Dataplex bietet VPC-SC-Unterstützung.
- In Dataplex können keine vom Kunden verwalteten Verschlüsselungsschlüssel zum Schutz der abgerufenen Herkunftsmetadaten verwendet werden.
Einschränkungen bei der Datenherkunft
Wenn Sie einen Knoten im Stammbaumdiagramm auswählen, ist die Seitenleiste mit den Knotendetails in folgenden Fällen leer:
- befinden sich die Ressourcen in einer anderen Organisation oder
- der Nutzer kein Mitglied der Organisation ist, die die Ressource hostet.