Data Lineage wird pro Projekt aktiviert. Sobald Sie die Data Lineage API aktivieren, werden die Herkunftsinformationen automatisch für mehrere Systeme gemeldet werden, je nachdem, Herkunft auf Produktebene steuern.
Die automatische Herkunftsverfolgung wird für die folgenden Systeme unterstützt:
| System | Verfügbare Herkunftseinstellungen |
|---|---|
| BigQuery, Cloud Data Fusion |
Es ist nicht möglich, das Lineage-Tracking nur auf Cloud Data Fusion zu beschränken. oder BigQuery, wenn die Data Lineage API in einem Projekt aktiviert ist. |
| Cloud Composer | Cloud Composer verwendet Data Lineage auf Umgebungsebene Integrationssteuerung. Data Lineage wird automatisch sind für alle neuen Cloud Composer-Umgebungen aktiviert, sofern sie die Anforderungen. Weitere Informationen finden Sie unter . Weitere Informationen zu Data Lineage mit Dataplex Informationen. Für vorhandene Umgebungen können Sie Data Lineage-Einbindung in die Umgebungseinstellungen. |
| Dataproc | Dataproc Spark-Jobs können Lineage-Ereignisse erfassen und in der Data Lineage API veröffentlichen. Weitere Informationen finden Sie unter Data Lineage-Integration von Dataproc. |
| Vertex AI | Data Lineage ist automatisch für Vertex AI-Artefakte und -Parameter wie Modelle, Datasets, Pipelinevorlagen und Komponenten aktiviert. Die Herkunft einer Pipeline umfasst Faktoren, die zu ihrer Erstellung beigetragen haben, sowie danach abgeleitete Artefakte und Metadaten. Weitere Informationen finden Sie unter Herkunft von Pipelineartefakten verfolgen. |
Auswirkungen auf die Abrechnung
Wenn Sie die Data Lineage API für ein Projekt aktivieren, Auswirkungen auf Ihre Abrechnungsgebühren, da die Data Lineage API aktiviert ist auf Pro-Projekt-Basis. Weitere Informationen dazu finden Sie im vorherigen Abschnitt.
Für Mehrfachregionen wie die Europäische Union (eu), Asien (asia) und USA (us) und für BigQuery Omni die Lineage-Verarbeitung auf bestimmte Regionen verteilt ist, und die Kosten hängen von den Regionen ab, die Verarbeitung durchgeführt wird (siehe Data Catalog-Preisbeispiele).
Data Lineage-Compliance
- Data Lineage zeichnet Metadaten über Datenbewegungen auf, aber aber nicht die Daten selbst. Siehe Data Lineage Information Model und Data Lineage API-Referenz findest du weitere Informationen dazu, welche Felder in den Metadaten enthalten sind.
- Data Lineage als Teil von Dataplex bietet VPC-SC-Unterstützung.
- Dataplex bietet derzeit keine Möglichkeit, Vom Kunden verwaltete Verschlüsselungsschlüssel zum Schutz der abgerufenen Herkunftsmetadaten
Einschränkungen der Data Lineage
Wenn Sie einen Knoten im Lineage-Diagramm auswählen, wird die Seitenleiste mit den Knotendetails ist in folgenden Fällen leer:
- befinden sich die Ressourcen in einer anderen Organisation oder
- Der Nutzer ist kein Mitglied der Organisation, die die Ressource hostet.