Knowledge Catalog-Preise (früher Dataplex)

Dataplex Universal Catalog wurde zum Knowledge Catalog weiterentwickelt. Die Preis-SKUs werden weiterhin als Dataplex bezeichnet. Die Dataplex-Preise basieren auf der „Pay as you go“-Nutzung. Dataplex berechnet derzeit Gebühren basierend auf den folgenden SKUs:

  • Dataplex Universal Catalog-Verarbeitung (Standard und Premium)
  • Metadatenspeicher

Im Folgenden finden Sie eine allgemeine Übersicht darüber, wie die einzelnen Hauptfunktionen von Dataplex Universal Catalog abgerechnet werden:

Funktion

Cloud Storage-Metadatenerfassung

Standard

–

Datenherkunft

Premium

Ja

Datenqualität

Premium

Ja, wenn im Katalog veröffentlicht

Datenprofilerstellung

Premium

Ja, wenn im Katalog veröffentlicht

Metadaten in Dataplex Universal Catalog anreichern

–

Ja

Gemini-basierte Funktionen in Dataplex, einschließlich Datenstatistiken und automatisierter Metadatengenerierung, werden als Teil von Gemini in BigQuery oder Gemini Code Assist abgerechnet.

Sonstige Nutzung

Die Funktionen zur Datenorganisation in Knowledge Catalog (Einrichtung von Lake, Zone oder Asset) sowie die Anwendung und Weitergabe von Sicherheitsrichtlinien werden kostenlos zur Verfügung gestellt.

Darüber hinaus lösen einige Knowledge Catalog-Funktionen (einschließlich Erkennungsscans, geplanter Datenqualitäts- und Datenaufnahmeprozesse sowie verwalteter Connectors für die Aufnahme von Metadaten aus CloudSQL und Looker) die Jobausführung mit GCS, Managed Service for Apache Spark, BigQuery, Dataflow und Cloud Scheduler aus. Diese Nutzungen werden gemäß den Preismodellen von GCS, Managed Service for Apache Spark, BigQuery, Dataflow und Cloud Scheduler abgerechnet. Die Gebühren werden unter GCS, Managed Service for Apache Spark, BigQuery und Dataflow anstelle von Dataplex Universal Catalog angezeigt.

Preise für die Dataplex Universal Catalog-Verarbeitung für Knowledge Catalog

Die Standard- und Premiumverarbeitung im Dataplex Universal Catalog wird nach Data Compute Units (DCUs) abgerechnet. DCU-Stunde ist eine abstrakte Abrechnungseinheit für Dataplex Universal Catalog. Die tatsächliche Messung hängt von den einzelnen Funktionen ab, die Sie verwenden.

Preise für die Standardverarbeitung im Dataplex Universal Catalog für den Knowledge Catalog

Die Standardstufe von Dataplex Universal Catalog umfasst die Funktion zur Datenermittlung, die Metadaten in den von Dataplex Universal Catalog verwalteten Daten ermittelt. Im Folgenden finden Sie die Preise für die Region Ihrer Wahl.

  • Johannesburg (africa-south1)
  • Taiwan (asia-east1)
  • Hong Kong (asia-east2)
  • Tokyo (asia-northeast1)
  • Osaka (asia-northeast2)
  • Seoul (asia-northeast3)
  • Mumbai (asia-south1)
  • Singapore (asia-southeast1)
  • Jakarta (asia-southeast2)
  • Bangkok (asia-southeast3)
  • Kuala Lumpur (asia-southeast4)
  • Sydney (australia-southeast1)
  • Melbourne (australia-southeast2)
  • Warsaw (europe-central2)
  • Finland (europe-north1)
  • Stockholm (europe-north2)
  • Madrid (europe-southwest1)
  • Belgium (europe-west1)
  • Berlin (europe-west10)
  • Turin (europe-west12)
  • London (europe-west2)
  • Frankfurt (europe-west3)
  • Netherlands (europe-west4)
  • Zurich (europe-west6)
  • Milan (europe-west8)
  • Paris (europe-west9)
  • Doha (me-central1)
  • Dammam (me-central2)
  • Tel Aviv (me-west1)
  • Montreal (northamerica-northeast1)
  • Toronto (northamerica-northeast2)
  • Mexico (northamerica-south1)
  • Sao Paulo (southamerica-east1)
  • Santiago (southamerica-west1)
  • Iowa (us-central1)
  • Oklahoma (us-central2)
  • South Carolina (us-east1)
  • Northern Virginia (us-east4)
  • Columbus (us-east5)
  • Dallas (us-south1)
  • Oregon (us-west1)
  • Los Angeles (us-west2)
  • Salt Lake City (us-west3)
  • Las Vegas (us-west4)
Rabattoptionen einblenden
Posten

Meter

Preis (in $)

* (USD)
BigQuery CUD - 1 Year* (USD)
BigQuery CUD - 3 Year* (USD)

Dataplex-Verarbeitung

pro DCU und Zeiteinheit

0,06 $0,054 $0,048 $
* Jedes Nutzungsmodell hat eine eindeutige ID. Möglicherweise ist Ihre Zustimmung nötig, um Rabatte auf das Nutzungsmodell erhalten zu können. Hier finden Sie weitere Informationen.

Kostenlose Stufe von Dataplex Universal Catalog für Knowledge Catalog

Im Rahmen der kostenlosen Stufe von Google Cloud bietet Knowledge Catalog einige Ressourcen bis zu einem bestimmten Limit kostenlos an. Diese kostenlosen Nutzungslimits sind während des kostenlosen Testzeitraums und auch danach verfügbar. Wenn Sie die Nutzungslimits überschreiten und der kostenlose Testzeitraum abgelaufen ist, fallen die in den obigen Abschnitten genannten Gebühren an.

Hinweis: Die kostenlose Stufe von Knowledge Catalog ist nur für die SKU „Dataplex Universal Catalog Standard Processing“ und nicht für die SKU „Dataplex Universal Catalog Premium Processing“ verfügbar.

Ressource

Monatliche Limits für kostenlose Nutzung

Dataplex Universal Catalog-Verarbeitung

100 DCU-Stunden

Preise für die Premium-Verarbeitung von Dataplex Universal Catalog für Knowledge Catalog

Die Premium-Verarbeitungsstufe von Dataplex umfasst die Datenherkunft, die Datenqualität und die Datenprofilerstellung.

  • Johannesburg (africa-south1)
  • Taiwan (asia-east1)
  • Hong Kong (asia-east2)
  • Tokyo (asia-northeast1)
  • Osaka (asia-northeast2)
  • Seoul (asia-northeast3)
  • Mumbai (asia-south1)
  • Delhi (asia-south2)
  • Singapore (asia-southeast1)
  • Jakarta (asia-southeast2)
  • Bangkok (asia-southeast3)
  • Kuala Lumpur (asia-southeast4)
  • Sydney (australia-southeast1)
  • Melbourne (australia-southeast2)
  • Warsaw (europe-central2)
  • Finland (europe-north1)
  • Stockholm (europe-north2)
  • Madrid (europe-southwest1)
  • Belgium (europe-west1)
  • Berlin (europe-west10)
  • Turin (europe-west12)
  • London (europe-west2)
  • Frankfurt (europe-west3)
  • Netherlands (europe-west4)
  • Zurich (europe-west6)
  • Milan (europe-west8)
  • Paris (europe-west9)
  • Doha (me-central1)
  • Dammam (me-central2)
  • Tel Aviv (me-west1)
  • Montreal (northamerica-northeast1)
  • Toronto (northamerica-northeast2)
  • Mexico (northamerica-south1)
  • Sao Paulo (southamerica-east1)
  • Santiago (southamerica-west1)
  • Iowa (us-central1)
  • Oklahoma (us-central2)
  • South Carolina (us-east1)
  • Northern Virginia (us-east4)
  • Columbus (us-east5)
  • Alabama (us-east7)
  • Dallas (us-south1)
  • Oregon (us-west1)
  • Los Angeles (us-west2)
  • Salt Lake City (us-west3)
  • Las Vegas (us-west4)
  • Phoenix (us-west8)
Rabattoptionen einblenden
Posten

Meter

Preis* (USD)

BigQuery CUD - 1 Year* (USD)
BigQuery CUD - 3 Year* (USD)

Preise für die Premium-Verarbeitung von Dataplex

pro DCU und Zeiteinheit

0,089 $0,0801 $0,0712 $
* Jedes Nutzungsmodell hat eine eindeutige ID. Möglicherweise ist Ihre Zustimmung nötig, um Rabatte auf das Nutzungsmodell erhalten zu können. Hier finden Sie weitere Informationen.

Berechnung der DCU-Gebühren

Die DCU-Gebühren für jedes Feature werden so berechnet:

1. Automatische Datenqualitätsscans:

  • Der DCU-Stundenverbrauch ist proportional zur Verarbeitung, die für die Profilerstellung der Daten und die Berechnung der Datenqualitätsmesswerte erforderlich ist. Die Abrechnung erfolgt pro Sekunde, mit einem Minimum von einer Minute.
  • Die Gebühr hängt von der Anzahl der Zeilen, der Anzahl der Spalten, der Menge der gescannten Daten, der Konfiguration der Datenqualitätsregel, den Partitionierungs- und Clustering-Einstellungen für die Tabelle und der Häufigkeit des Scans ab.
  • Für Scans zur Anomalieerkennung bei der Datenqualität fallen keine DCU-Gebühren an. Stattdessen gelten die standardmäßigen BigQuery-Preise für Computing, Speicher und BQML-Modelltraining, -Verarbeitung und -Bereitstellung.
  • Wenn Sie eine benutzerdefinierte Ausführungsidentität verwenden, ändert sich die Abrechnung für den Scan. Wenn Sie eine benutzerdefinierte Ausführungsidentität angeben, werden die mit dem Scan verbundenen Rechen- und Speicherkosten direkt Ihrem BigQuery-Projekt in Rechnung gestellt, wobei die standardmäßigen Dataplex Premium-SKUs umgangen werden.

2. Es gibt mehrere Möglichkeiten, die Kosten für automatische Datenqualitätsscans zu senken:

  • Probenahme
  • Inkrementelle Scans
  • Wenn Sie die Gebühren für die Datenqualität von anderen Gebühren in der Dataplex-Premium-Verarbeitungs-SKU trennen möchten, verwenden Sie im Cloud Billing-Bericht das Label goog-dataplex-workload-type mit dem Wert DATA_QUALITY.

3. Verwenden Sie die folgenden Labels, die im Abrechnungsexport in BigQuery verfügbar sind, um aggregierte Gebühren zu filtern:

  • goog-dataplex-datascan-data-source-dataplex-entity
  • goog-dataplex-datascan-data-source-dataplex-lake
  • goog-dataplex-datascan-data-source-dataplex-zone
  • goog-dataplex-datascan-data-source-project
  • goog-dataplex-datascan-data-source-region
  • goog-dataplex-datascan-id
  • goog-dataplex-datascan-job-id

4. Datenprofilerstellungsscans:

  • Der DCU-Stundenverbrauch ist proportional zur Verarbeitung, die für die Profilerstellung der Daten und die Berechnung der Datenqualitätsmesswerte erforderlich ist. Die Abrechnung erfolgt pro Sekunde, mit einem Minimum von einer Minute.
  • Die Gebühr hängt von der Anzahl der Zeilen, der Anzahl der Spalten, der Menge der gescannten Daten, den Partitionierungs- und Clustering-Einstellungen der Tabelle und der Häufigkeit des Scans ab.
  • Wenn Sie eine benutzerdefinierte Ausführungsidentität verwenden, ändert sich die Abrechnung für den Scan. Wenn Sie eine benutzerdefinierte Ausführungsidentität angeben, werden die mit dem Scan verbundenen Rechen- und Speicherkosten direkt Ihrem BigQuery-Projekt in Rechnung gestellt, wobei die standardmäßigen Dataplex Premium-SKUs umgangen werden.

5. Es gibt mehrere Möglichkeiten, die Kosten für Datenprofilscans zu senken:

  • Probenahme
  • Inkrementelle Scans
  • Spaltenfilterung
  • Zeilenfilterung
  • Wenn Sie die Gebühren für die Datenprofilerstellung von anderen Gebühren in der Dataplex-Premium-Verarbeitungs-SKU trennen möchten, verwenden Sie im Cloud Billing-Bericht das Label goog-dataplex-workload-type mit dem Wert DATA_PROFILE.

6. Verwenden Sie die folgenden Labels, die im Abrechnungsexport in BigQuery verfügbar sind, um aggregierte Gebühren zu filtern:

  • goog-dataplex-datascan-data-source-dataplex-entity
  • goog-dataplex-datascan-data-source-dataplex-lake
  • goog-dataplex-datascan-data-source-dataplex-zone
  • goog-dataplex-datascan-data-source-project
  • goog-dataplex-datascan-data-source-region
  • goog-dataplex-datascan-id
  • goog-dataplex-datascan-job-id

Preise für Data Lineage

Sie bezahlen für die Rechenleistung, die durch die automatische Herkunftsberichterstellung von unterstützten Google Cloud-Systemen verbraucht wird. Die Abrechnung erfolgt in dem Projekt, in dem Sie den Job ausgeführt haben.

Wenn Sie die Gebühren für die Datenherkunft von anderen Gebühren in der Dataplex-Premium-Verarbeitungs-SKU trennen möchten, verwenden Sie das Label goog-dataplex-workload-type mit dem Wert LINEAGE im Cloud Billing-Abrechnungsbericht.

Abrechenbare und nicht abrechenbare Nutzung

Für die folgenden Aktivitäten fallen Gebühren an:

  • Automatisches Parsen der Datenherkunft: verbraucht je nach Verarbeitungskomplexität DCU-Stunden (Data Compute Unit). DCUs messen die abstrakte Rechenkapazität, die für das Parsing zugewiesen ist. Der Verbrauch wird anhand der Anzahl der Jobs, Jobausführungen und der Anzahl der erstellten Herkunftslinks berechnet. 

Diese Kosten fallen an, wenn der sourceType Origin der Data Lineage API auf einen anderen Wert als CUSTOM festgelegt ist. Werte wie BIGQUERY, DATAPROC oder COMPOSER geben an, dass die Lineage von Google Cloud automatisch aus den Logs und Metadaten des Dienstes extrahiert wird. Dieser Extraktionsprozess erfordert Rechenressourcen (DCUs) und ist daher kostenpflichtig. Im Gegensatz dazu gibt CUSTOM an, dass Sie das Parsing selbst durchgeführt haben und nur das Ergebnis speichern, was kostenlos ist.

Die folgenden Aktivitäten sind kostenlos:

  • Benutzerdefinierte Herkunftsberichte: Herkunftsberichte von Drittanbietersystemen oder benutzerdefinierten Integrationen (bei denen der sourceType CUSTOM ist) sind kostenlos. Dazu gehören die folgenden Methoden:
  • ProcessOpenLineageRunEvent aufrufen, um OpenLineage-kompatible Ereignisse zu importieren.
  • Erstellen Sie ein LineageEvent mit einem benutzerdefinierten Client, um native Lineage-Ereignisse manuell zu melden.
  • Berichtsprozesse und -ausführungen: Die Berichterstellung für die Prozessmetadaten selbst ist kostenlos. Gebühren fallen nur für das automatische Parsen von LineageEvents an.
  • Herkunftsnutzung: Das Abrufen der Herkunft (mit den Methoden „Get“ oder „List“) und das Löschen der Herkunft (mit den Methoden „Delete“) sind kostenlos.

Preisbeispiel

In diesem Beispiel aktivieren Sie die Datenherkunft, um die Herkunft für BigQuery in Ihrem Projekt zu verfolgen. Das Projekt befindet sich am Standort us-central1, wo eine DCU-Stunde 0,089 $ kostet.

Das Melden der Herkunft zu oder von einer EntityReference kostet etwa 0,0056 DCU-Stunden. Eine EntityReference identifiziert eine Datenressource in Google Cloud eindeutig, z. B. eine BigQuery-Tabelle oder einen Cloud Storage-Bucket.

  • Täglicher Job: Sie führen den folgenden BigQuery-Job 30 Tage lang einmal täglich aus:

CREATE TABLE tableB1 AS SELECT * FROM tableA JOIN tableC USING (column);

Ergebnis: Bei diesem Vorgang werden Lineage-Verknüpfungen generiert, die zwei Quelltabellen mit einer Zieltabelle verbinden (3 verschiedene Entitäten).

  • Job jeden zweiten Tag: Sie führen den folgenden Job jeden zweiten Tag (15-mal im Monat) aus:

CREATE TABLE tableB2 AS SELECT * FROM tableA, tableC, tableD;

Ergebnis: Bei diesem Vorgang werden Lineage-Verknüpfungen generiert, die drei Quelltabellen mit einer Zieltabelle (4 verschiedene Entitäten) verbinden.

Berechnung der Kosten

Nehmen wir an, dass in diesem Monat 1 GiB an Data-Lineage-Metadaten generiert wurde. Die Kosten werden folgendermaßen berechnet:

  • Täglicher Job: 30 Tage * 3 Entitäten * ~0,0056 DCU-Stunden * 0,089 $ ~= 0,045 $
  • Job jeden zweiten Tag: 15 Tage × 4 Entitäten × 0,0056 DCU-Stunden × 0,089 $ = 0,030 $
  • Speicher: (1 GiB – 1 MiB kostenlose Stufe) * 2,00 $ = 1,998 $

Gesamt: ~0,045 $ + 0,030 $ + 1,998 $ = ~2,07 $

Preise für die Herkunft zur Designzeit (Looker Core)

Die Herkunft aus Looker ist eine Herkunft zur Designzeit: Knowledge Catalog leitet sie aus den Modelldefinitionen (z. B. LookML-Ansichten und Explores und die BigQuery-Tabellen, auf die sie verweisen) und nicht aus Jobausführungen ab. Die Datenherkunft zur Designzeit wird unter derselben Dataplex-Premium-Verarbeitungs-SKU wie das automatische Parsen der Datenherkunft abgerechnet, der DCU-Stundenverbrauch wird jedoch anders berechnet:

  • Gebühren fallen an, wenn ein Herkunftslink oder -prozess zum ersten Mal gemeldet wird und jedes Mal, wenn er sich ändert (z. B. wenn das Looker-Modell geändert und neu veröffentlicht wird). In der Designzeit-Herkunft gibt es keine Ausführungen, sodass keine Gebühren pro Ereignis anfallen, ähnlich wie bei der oben beschriebenen ereignisbasierten Herkunftsverarbeitung.
  • Das Melden der Datenherkunft zu oder von einem Knoten kostet etwa 0,0325 DCU-Stunden (etwa 0,0029 $ in us-central1, wo eine DCU-Stunde 0,089 $ kostet).
  • Das Abrufen und Löschen der Herkunft bleibt kostenlos. Herkunftsmetadaten werden separat unter der SKU für Metadatenspeicher abgerechnet.

Die Abrechnung für die Verarbeitung der Designzeit-Herkunft von Looker Core beginnt am 1. März 2027. Looker-Herkunft, die vor diesem Datum gemeldet wurde, ist kostenlos. Wenn Sie die Funktion deaktivieren möchten, finden Sie unter https://docs.cloud.google.com/dataplex/docs/control-lineage-ingestion Informationen zum Aktivieren oder Deaktivieren der Verarbeitung der Datenherkunft in Looker Core.

Preise für die Metadatenspeicherung in Knowledge Catalog (Dataplex Universal Catalog)

Preis für den Metadatenspeicher

Knowledge Catalog verwendet die SKU für den Metadatenspeicher, um die Speicherung von Metadaten in Rechnung zu stellen. Der Metadatenspeicher wird in Gibibyte (GiB) gemessen, wobei 1 GiB 1.073.741.824 Byte beträgt. Knowledge Catalog misst in kurzen Abständen die durchschnittliche Menge der gespeicherten Metadaten. Für die Abrechnung werden diese Messungen zu einem Monatsdurchschnitt zusammengefasst, der mit der monatlichen Rate multipliziert wird.

Hinweis: Der Metadatenspeicher für automatisch aufgenommene technische Metadaten aus Google Cloud-Diensten wie BigQuery wird kostenlos angeboten.

Wenn Sie in einer anderen Währung als US-Dollar bezahlen, gelten die Preise, die unter Cloud Platform SKUs für Ihre Währung angegeben sind.

Preise für Knowledge Catalog-Speicher

Gebühren für die Metadatenspeicherung (einschließlich der Gebühren für Einträge und Aspekte) werden dem Projekt in Rechnung gestellt, in dem die jeweilige Ressource erstellt wurde.

Durchschnittlicher monatlicher Speicherplatz

Preis (in $)

Beliebig

0,002739726 $ / 1 gibibyte hour

Dataplex Universal Catalog API-Gebühren für Knowledge Catalog

Wenn Nutzer mit dem Knowledge Catalog interagieren, sind API-Aufrufe kostenlos, einschließlich:

  • Dataplex Universal Catalog-Ressourcen erstellen und verwalten
  • Herkunftsressourcen erstellen und verwalten
  • Katalogsuche

Preisbeispiel

In diesem Abschnitt finden Sie Beispiele für die Berechnung der Kosten für Dataplex Universal Catalog.

Kleine Aspekte

  • Nutzer A erstellt und wendet kleine Aspekte an (jeweils 1.024 Byte). Für 10 $ pro Monat kann der Nutzer 5 GiB Metadaten speichern, was ungefähr 5 Millionen Aspekten entspricht. Wenn wir von einem Aspekt pro Tabelle ausgehen, ergibt das insgesamt 5 Millionen Tabellen mit Aspekten.
  • Nutzer B erstellt am 10. des Monats 5 Millionen Aspekte mit jeweils 1 KB und löscht die Aspekte am 20. des Monats. Die Kosten betragen 3,33 $, berechnet als 5 GiB Daten geteilt durch ein Drittel Monat:
  • Beispiel
Wird geladen...

Große Aspekte

  • Nutzer C erstellt und wendet große Aspekte an (jeweils 10 KB). Für 10 $ pro Monat kann der Nutzer 5 GiB Metadaten speichern, was etwa 500.000 Aspekten entspricht. Wenn wir von einem Aspekt pro Tabelle ausgehen, ergibt das insgesamt 500.000 Tabellen mit Aspekten.
  • Nutzer D erstellt 10.000 Aspekttypen (z. B. ETL, Data Governance, Datenqualität) und wendet große Aspekte (jeweils 10 KB) mit jedem der 10 Aspekttypen an. Für 10 $ pro Monat kann der Nutzer 5 GiB Metadaten speichern, was ungefähr 500.000 Aspekten entspricht. Bei 10 Aspekten pro Tabelle ergibt das insgesamt 50.000 Tabellen mit Aspekten.

Nächste Schritte

Individuelles Angebot einholen

Mit den „Pay as you go“-Preisen von Google Cloud bezahlen Sie nur für die Dienste, die Sie nutzen. Wenden Sie sich an unser Vertriebsteam, wenn Sie ein individuelles Angebot für Ihr Unternehmen erhalten möchten.
Google Cloud