Dataplex Universal Catalog wurde zum Knowledge Catalog weiterentwickelt. Die Preis-SKUs behalten den Namen Dataplex. Die Dataplex-Preise basieren auf der „Pay as you go“-Nutzung. Dataplex berechnet derzeit die folgenden SKUs:

• Verarbeitung im Dataplex Universal Catalog (Standard und Premium)
• Metadatenspeicher

Hier eine allgemeine Übersicht, wie die wichtigsten Funktionen von Dataplex Universal Catalog abgerechnet werden:

Die Standard- und Premiumverarbeitung im Dataplex Universal Catalog wird nach Data Compute Units (DCUs) abgerechnet. Die DCU-Stunde ist eine abstrakte Abrechnungseinheit für Dataplex Universal Catalog. Die tatsächliche Messung hängt von den einzelnen Funktionen ab, die Sie verwenden.

Dataplex Universal Catalog-Stufe „Kostenlos“

Im Rahmen der kostenlosen Stufe von Google Cloud bietet Dataplex Universal Catalog einige Ressourcen bis zu einem bestimmten Limit kostenlos an. Diese kostenlosen Nutzungskontingente sind während des kostenlosen Testzeitraums und auch danach verfügbar. Wenn Sie die Nutzungskontingente überschreiten und der kostenlose Testzeitraum abgelaufen ist, fallen die in den obigen Abschnitten genannten Kosten an.

Hinweis: Das kostenlose Kontingent für Dataplex Universal Catalog ist nur für die SKU „Dataplex Universal Catalog Standard Processing“ verfügbar, nicht für die SKU „Dataplex Universal Catalog Premium Processing“.

Die Kosten für die DCU für jedes Feature werden so berechnet:

1. Automatische Datenqualitätsscans:

• Der DCU-Stundenverbrauch ist proportional zur Verarbeitung, die für die Profilerstellung der Daten und die Berechnung der Datenqualitätsmesswerte erforderlich ist. Die Abrechnung erfolgt sekundengenau mit einer Mindestnutzungsdauer von einer Minute.
• Die Kosten hängen von der Anzahl der Zeilen, der Anzahl der Spalten, der Menge der gescannten Daten, der Konfiguration der Datenqualitätsregel, den Partitionierungs- und Clusteringeinstellungen der Tabelle und der Häufigkeit des Scans ab.
• Für Scans zur Anomalieerkennung der Datenqualität fallen keine DCU-Gebühren an. Stattdessen gelten die standardmäßigen BigQuery-Preise für Computing, Speicher und BQML-Modelltraining, ‑verarbeitung und ‑bereitstellung.

2. Es gibt mehrere Möglichkeiten, die Kosten für automatische Datenqualitätsscans zu senken:

• Probenahme
• Inkrementelle Scans
• Wenn Sie die Gebühren für die Datenqualität von anderen Gebühren in der Dataplex Premium-Verarbeitungs-SKU trennen möchten, verwenden Sie im Cloud Billing-Bericht das Label goog-dataplex-workload-type mit dem Wert DATA_QUALITY.

3. Verwenden Sie die folgenden Labels, die im Abrechnungsexport in BigQuery verfügbar sind, um aggregierte Gebühren zu filtern:

• goog-dataplex-datascan-data-source-dataplex-entity
• goog-dataplex-datascan-data-source-dataplex-lake
• goog-dataplex-datascan-data-source-dataplex-zone
• goog-dataplex-datascan-data-source-project
• goog-dataplex-datascan-data-source-region
• goog-dataplex-datascan-id
• goog-dataplex-datascan-job-id

4. Datenprofilscans:

• Der DCU-Stundenverbrauch ist proportional zur Verarbeitung, die für die Profilerstellung der Daten und die Berechnung der Datenqualitätsmesswerte erforderlich ist. Die Abrechnung erfolgt sekundengenau mit einer Mindestnutzungsdauer von einer Minute.
• Die Kosten hängen von der Anzahl der Zeilen und Spalten, der Menge der gescannten Daten, den Partitionierungs- und Clusteringeinstellungen der Tabelle und der Häufigkeit des Scans ab.

5. Es gibt mehrere Möglichkeiten, die Kosten für Datenprofiling-Scans zu senken:

• Probenahme
• Inkrementelle Scans
• Spaltenfilterung
• Zeilenfilterung
• Um die Kosten für die Datenprofilerstellung von anderen Kosten in der Dataplex Premium-Verarbeitungs-SKU zu trennen, verwenden Sie im Cloud Billing-Bericht das Label goog-dataplex-workload-type mit dem Wert DATA_PROFILE.

6. Verwenden Sie die folgenden Labels, die im Abrechnungsexport in BigQuery verfügbar sind, um aggregierte Gebühren zu filtern:

• goog-dataplex-datascan-data-source-dataplex-entity
• goog-dataplex-datascan-data-source-dataplex-lake
• goog-dataplex-datascan-data-source-dataplex-zone
• goog-dataplex-datascan-data-source-project
• goog-dataplex-datascan-data-source-region
• goog-dataplex-datascan-id
• goog-dataplex-datascan-job-id

7. Data Lineage:

• Der DCU-Stundenverbrauch ist proportional zum Aufwand für die automatische Analyse der Datenherkunft.
• Um die Gebühren für die Datenherkunft von anderen Gebühren in der Dataplex-Premium-Verarbeitungs-SKU zu trennen, verwenden Sie im Cloud Billing-Bericht das Label goog-dataplex-workload-type mit dem Wert LINEAGE.
• Wenn Sie die Data Lineage API Origin sourceType mit einem anderen Wert als CUSTOM aufrufen, entstehen zusätzliche Kosten.

Preisbeispiel für Data Lineage

Nutzer A aktiviert die Daten-Lineage, um die Lineage für BigQuery in seinem Projekt zu verfolgen. Das Projekt befindet sich am Standort „us-central1“. Die Datenherkunft verbraucht in einem Monat 100 DCU-Stunden der Dataplex Premium-Verarbeitung und erzeugt 1 GiB an Datenherkunfts-Metadaten. Die Kosten sind:

Die API-Aufrufe bei der Interaktion mit dem Dataplex Universal Catalog sind kostenlos, einschließlich:

• Dataplex Universal Catalog-Ressourcen erstellen und verwalten
• Lineage-Ressourcen erstellen und verwalten
• Katalogsuche

In diesem Abschnitt finden Sie Beispiele für die Berechnung der Kosten für Dataplex Universal Catalog.

Kleine Aspekte

• Nutzer A erstellt und wendet kleine Aspekte an (jeweils 1.024 Byte). Für 10 $pro Monat kann der Nutzer 5 GiB Metadaten speichern, was ungefähr 5 Mio. Aspekten entspricht. Wenn wir von einem Aspekt pro Tabelle ausgehen, ergibt das insgesamt 5 Millionen Tabellen mit Aspekten.
• Nutzer B erstellt am 10. des Monats 5 Mio. Aspekte mit jeweils 1 KB und löscht die Aspekte am 20. Die Kosten betragen 3,33 $, berechnet als 5 GiB an Daten geteilt durch ein Drittel des Monats:

Große Aspekte

• Nutzer C erstellt und wendet große Aspekte an (jeweils 10 KB). Für 10 $pro Monat kann der Nutzer 5 GiB Metadaten speichern, was ungefähr 500.000 Aspekten entspricht. Bei einem Aspekt pro Tabelle sind das insgesamt 500.000 Tabellen mit Aspekten.
• Nutzer D erstellt 10.000 Aspekttypen (z. B. ETL, Data Governance, Datenqualität) und wendet große Aspekte (jeweils 10 KB) mit jedem der 10 Aspekttypen an. Für 10 $/Monat kann der Nutzer 5 GiB Metadaten speichern, was ungefähr 500.000 Aspekten entspricht. Bei 10 Aspekten pro Tabelle sind das insgesamt 50.000 Tabellen mit Aspekten.

In diesem Abschnitt werden die Preise für Data Catalog beschrieben, der sich in der Einstellungsphase befindet (Umstellung auf Dataplex Universal Catalog, um Dienstunterbrechungen zu vermeiden).

Die Data Catalog-Gebühren gelten für den Metadatenspeicher für Data Catalog und API-Aufrufe an die Data Catalog API.

Die Gebühren für den Metadatenspeicher und API-Aufrufe fallen täglich an. Sie können die noch nicht abgerechnete Nutzung in der Google Cloud Console einsehen.

Hinweis: Sofern nicht anders angegeben, gelten Preismodelle für Konten, nicht für einzelne Projekte.

Data Catalog API-Aufrufe werden wie in der folgenden Tabelle beschrieben abgerechnet:

Hinweis: Suchanfragen, die auf der Data Catalog-Seite in der Google Cloud Console ausgeführt werden, sind kostenlos.