Die DCU-Gebühren für die einzelnen Features werden so berechnet:
- Datenqualität
Automatische Datenqualitätsscans:
- Der DCU-Stundenverbrauch ist proportional zur Verarbeitung, die für die Profilerstellung der Daten und die Berechnung der Datenqualitätsmesswerte erforderlich ist. Die Abrechnung erfolgt pro Sekunde, mindestens jedoch für eine Minute.
- Die Gebühr hängt von der Anzahl der Zeilen, der Anzahl der Spalten, der Menge der gescannten Daten, der Konfiguration der Datenqualitätsregel, den Partitionierungs- und Clustering-Einstellungen für die Tabelle und der Häufigkeit des Scans ab.
- Für Scans zur Anomalieerkennung bei der Datenqualität fallen keine DCU-Gebühren an. Stattdessen gelten die standardmäßigen BigQuery-Preise für Computing, Speicher und das Training, die Verarbeitung und die Bereitstellung von BQML-Modellen.
- Die Verwendung einer benutzerdefinierten Ausführungsidentität ändert die Abrechnung für den Scan. Wenn Sie eine benutzerdefinierte Ausführungsidentität angeben, werden die mit dem Scan verbundenen Rechen- und Speicherkosten direkt Ihrem BigQuery-Projekt in Rechnung gestellt, wobei die standardmäßigen Dataplex Premium-SKUs umgangen werden.
Es gibt mehrere Möglichkeiten, die Kosten für automatische Datenqualitätsscans zu senken:
- Probenahme
- Inkrementelle Scans
- Wenn Sie die Gebühren für die Datenqualität von anderen Gebühren in der Dataplex-Premium-Verarbeitungs-SKU trennen möchten, verwenden Sie im Cloud Billing-Bericht das Label goog-dataplex-workload-type mit dem Wert DATA_QUALITY.
Verwenden Sie die folgenden Labels, die im Abrechnungsexport in BigQuery verfügbar sind, um aggregierte Gebühren zu filtern:
- goog-dataplex-datascan-data-source-dataplex-entity
- goog-dataplex-datascan-data-source-dataplex-lake
- goog-dataplex-datascan-data-source-dataplex-zone
- goog-dataplex-datascan-data-source-project
- goog-dataplex-datascan-data-source-region
- goog-dataplex-datascan-id
- goog-dataplex-datascan-job-id
2. Datenprofilerstellung
Datenprofilerstellungsscans:
- Der DCU-Stundenverbrauch ist proportional zur Verarbeitung, die für die Profilerstellung der Daten und die Berechnung der Datenqualitätsmesswerte erforderlich ist. Die Abrechnung erfolgt pro Sekunde, mindestens jedoch für eine Minute.
- Die Gebühr hängt von der Anzahl der Zeilen, der Anzahl der Spalten, der Menge der gescannten Daten, den Partitionierungs- und Clustering-Einstellungen der Tabelle und der Häufigkeit des Scans ab.
- Die Verwendung einer benutzerdefinierten Ausführungsidentität ändert die Abrechnung für den Scan. Wenn Sie eine benutzerdefinierte Ausführungsidentität angeben, werden die mit dem Scan verbundenen Rechen- und Speicherkosten direkt Ihrem BigQuery-Projekt in Rechnung gestellt, wobei die standardmäßigen Dataplex Premium-SKUs umgangen werden.
Es gibt mehrere Möglichkeiten, die Kosten für Datenprofilscans zu senken:
- Probenahme
- Inkrementelle Scans
- Spaltenfilterung
- Zeilenfilterung
- Wenn Sie die Gebühren für die Datenprofilerstellung von anderen Gebühren in der Dataplex-Premium-Verarbeitungs-SKU trennen möchten, verwenden Sie im Cloud Billing-Bericht das Label goog-dataplex-workload-type mit dem Wert DATA_PROFILE.
Verwenden Sie die folgenden Labels, die im Abrechnungsexport in BigQuery verfügbar sind, um aggregierte Gebühren zu filtern:
- goog-dataplex-datascan-data-source-dataplex-entity
- goog-dataplex-datascan-data-source-dataplex-lake
- goog-dataplex-datascan-data-source-dataplex-zone
- goog-dataplex-datascan-data-source-project
- goog-dataplex-datascan-data-source-region
- goog-dataplex-datascan-id
- goog-dataplex-datascan-job-id
3. Data Lineage
Sie bezahlen für zwei Dinge: die Rechenleistung, die für die automatische Herkunftsberichterstellung von unterstützten Google Cloud-Systemen verbraucht wird (abgerechnet über die Dataplex Premium-Verarbeitungs-SKU, in DCU-Stunden), und die Speicherung der resultierenden Herkunftsmetadaten – Prozesse, Ausführungen, Herkunftsereignisse und Links –, solange sie aufbewahrt werden (standardmäßig 30 Tage; abgerechnet über die Knowledge Catalog-Metadatenspeicher-SKU, pro GiB-Monat; siehe Preise für Metadatenspeicher). Die Abrechnung erfolgt in dem Projekt, in dem Sie den Job ausgeführt haben.
Wenn Sie die Gebühren für die Datenherkunft von anderen Gebühren in den Dataplex-Premium-Verarbeitungs- und Metadatenspeicher-SKUs trennen möchten, verwenden Sie das Label goog-dataplex-workload-type mit dem Wert LINEAGE im Cloud Billing-Bericht.
Abrechenbare und nicht abrechenbare Nutzung
Für die folgenden Aktivitäten fallen Gebühren an:
- Automatisches Parsen der Datenherkunft: Verbraucht je nach Verarbeitungskomplexität Data Compute Unit-Stunden (DCU). DCUs messen die abstrakte Rechenkapazität, die für das Parsing zugewiesen ist. Der Verbrauch wird anhand der Anzahl der Jobs, der Jobausführungen und der Anzahl der erstellten Herkunftslinks berechnet.
- Speicher für Lineage-Metadaten: Lineage-Metadaten (Prozesse, Ausführungen, Lineage-Ereignisse und Links) werden für einen begrenzten Zeitraum (standardmäßig 30 Tage) aufbewahrt und unter der SKU für Metadatenspeicher abgerechnet, solange sie gespeichert sind. Die Speichergebühren enden, wenn die Metadaten am Ende der Aufbewahrungsdauer ablaufen oder wenn Sie sie löschen.
DCU-Kosten fallen an, wenn der sourceType Origin der Data Lineage API auf einen anderen Wert als CUSTOM festgelegt ist. Werte wie BIGQUERY, DATAPROC oder COMPOSER geben an, dass die Herkunft von Google Cloud automatisch aus den Logs und Metadaten des Dienstes extrahiert wird. Für diesen Extraktionsprozess sind Rechenressourcen (DCUs) erforderlich, weshalb er kostenpflichtig ist. Im Gegensatz dazu gibt CUSTOM an, dass Sie das Parsing selbst durchgeführt haben, sodass keine Gebühr für die Premium-Verarbeitung (DCU) anfällt. Das gespeicherte Ergebnis unterliegt den Preisen für die Metadatenspeicherung wie alle anderen Lineage-Metadaten.
Die folgenden Aktivitäten sind kostenlos:
- Berichte zur benutzerdefinierten Herkunft: Für Berichte zur Herkunft aus Drittanbietersystemen oder benutzerdefinierten Integrationen (bei denen der sourceType CUSTOM ist) fallen keine Premium-Verarbeitungsgebühren an. Die Preise für den Metadatenspeicher gelten weiterhin für die gespeicherte Datenherkunft. Dazu gehören die folgenden Methoden:
- ProcessOpenLineageRunEvent aufrufen, um OpenLineage-kompatible Ereignisse zu importieren.
- Erstellen Sie ein LineageEvent mit einem benutzerdefinierten Client, um native Lineage-Ereignisse manuell zu melden.
- Prozesse und Ausführungen melden: Das Melden der Prozessmetadaten selbst ist kostenlos. Gebühren fallen nur für das automatische Parsen von LineageEvents an.
- Nutzung der Datenherkunft: Das Abrufen der Datenherkunft (mit den Methoden „Get“ oder „List“) und das Löschen der Datenherkunft (mit den Methoden „Delete“) sind kostenlos.
Preisbeispiel
In diesem Beispiel aktivieren Sie die Datenherkunft, um die Herkunft für BigQuery in Ihrem Projekt zu verfolgen. Das Projekt befindet sich am Standort us-central1, wo eine DCU-Stunde 0,089 $ kostet.
Das Melden der Datenherkunft zu oder von einer EntityReference kostet etwa 0,0056 DCU-Stunden. Eine EntityReference identifiziert eine Datenressource in Google Cloud eindeutig, z. B. eine BigQuery-Tabelle oder einen Cloud Storage-Bucket.
- Täglicher Job: Sie führen den folgenden BigQuery-Job 30 Tage lang einmal täglich aus:
CREATE TABLE tableB1 AS SELECT * FROM tableA JOIN tableC USING (column);
Ergebnis: Bei diesem Vorgang werden Lineage-Verknüpfungen generiert, die zwei Quelltabellen mit einer Zieltabelle verbinden (3 verschiedene Entitäten).
- Job jeden zweiten Tag: Sie führen den folgenden Job jeden zweiten Tag (15 Mal im Monat) aus:
CREATE TABLE tableB2 AS SELECT * FROM tableA, tableC, tableD;
Ergebnis: Dieser Vorgang generiert Lineage-Verknüpfungen, die drei Quelltabellen mit einer Zieltabelle (4 verschiedene Entitäten) verbinden.
Berechnung der Kosten
Nehmen wir an, dass in diesem Monat 1 GiB an Data-Lineage-Metadaten generiert wurde. Die Kosten werden folgendermaßen berechnet:
- Täglicher Job: 30 Tage × 3 Entitäten × ~0,0056 DCU-Stunden × 0,089 $ ~= 0,045 $
- Job jeden zweiten Tag: 15 Tage × 4 Entitäten × 0,0056 DCU-Stunden × 0,089 $ = 0,030 $
- Speicher: (1 GiB) * 2,00 $ = 1,998 $
Gesamt: ~0,045 $ + 0,030 $ + 1,998 $ = ~2,07 $
Preise für Design-Time-Lineage (Looker Core)
Die Herkunft aus Looker ist eine Herkunft zur Designzeit: Knowledge Catalog leitet sie aus den Modelldefinitionen (z. B. LookML-Ansichten und Explores und die BigQuery-Tabellen, auf die sie verweisen) und nicht aus Jobausführungen ab. Die Datenherkunft zur Designzeit wird unter derselben Dataplex-Premium-Verarbeitungs-SKU wie das automatische Parsen der Datenherkunft abgerechnet, der DCU-Stundenverbrauch wird jedoch anders berechnet:
- Gebühren fallen an, wenn ein Herkunftslink oder -prozess zum ersten Mal gemeldet wird und jedes Mal, wenn er sich ändert (z. B. wenn das Looker-Modell geändert und neu veröffentlicht wird). In der Designzeit-Herkunft gibt es keine Ausführungen, sodass keine Gebühren pro Ereignis anfallen, ähnlich wie bei der oben beschriebenen ereignisbasierten Herkunftsverarbeitung.
- Das Melden der Herkunft zu oder von einem Knoten kostet etwa 0,0325 DCU-Stunden (etwa 0,0029 $ in us-central1, wo eine DCU-Stunde 0,089 $ kostet).
- Das Abrufen und Löschen der Herkunft bleibt kostenlos. Herkunftsmetadaten werden separat unter der SKU für Metadatenspeicher abgerechnet.
Die Abrechnung für die Verarbeitung der Designzeit-Herkunft von Looker Core beginnt am 1. März 2027. Looker-Herkunft, die vor diesem Datum gemeldet wurde, ist kostenlos. Wenn Sie die Verarbeitung der Herkunft von Looker Core aktivieren oder deaktivieren möchten, finden Sie unter https://docs.cloud.google.com/dataplex/docs/control-lineage-ingestion weitere Informationen.
