Preise für Knowledge Catalog (früher Dataplex)

Dataplex Universal Catalog wurde zum Knowledge Catalog weiterentwickelt. Die Preis-SKUs behalten den Namen Dataplex. Die Dataplex-Preise basieren auf der „Pay as you go“-Nutzung. Dataplex berechnet derzeit die folgenden SKUs:

  • Verarbeitung im Dataplex Universal Catalog (Standard und Premium)
  • Metadatenspeicher

Im Folgenden finden Sie eine allgemeine Übersicht über die Abrechnung der wichtigsten Funktionen von Dataplex Universal Catalog:

Funktion

Cloud Storage-Metadaten erfassen

Standard

Data Lineage

Premium

Ja

Datenqualität

Premium

Ja, wenn sie im Katalog veröffentlicht wurde

Datenprofiling

Premium

Ja, wenn sie im Katalog veröffentlicht wurde

Metadaten in Dataplex Universal Catalog anreichern

Ja

Gemini-basierte Funktionen in Dataplex, einschließlich Funktionen für Datenstatistiken und die automatisierte Metadatengenerierung, werden als Teil von Gemini in BigQuery oder Gemini Code Assist abgerechnet.

Sonstige Nutzung

Funktionen zur Datenorganisation in Knowledge Catalog (Lake-, Zonen- oder Asset-Einrichtung) sowie die Anwendung und Weitergabe von Sicherheitsrichtlinien sind kostenlos.

Außerdem lösen einige Knowledge Catalog-Funktionen (einschließlich Discovery-Scans, geplanter Datenqualitäts- und Datenerfassungstasks sowie verwalteter Connectors für die Aufnahme von Metadaten aus CloudSQL und Looker) die Ausführung von Jobs mit GCS, Managed Service for Apache Spark, BigQuery, Dataflow und Cloud Scheduler aus. Diese Nutzung wird gemäß den Preismodellen für GCS, Managed Service for Apache Spark, BigQuery, Dataflow und Cloud Scheduler berechnet und die Kosten werden unter GCS, Managed Service for Apache Spark, BigQuery und Dataflow anstatt unter Dataplex Universal Catalog aufgeführt.

Preise für die Verarbeitung im Dataplex Universal Catalog für Knowledge Catalog

Die Standard- und Premiumverarbeitung im Dataplex Universal Catalog wird nach Data Compute Units (DCUs) abgerechnet. Die DCU-Stunde ist eine abstrakte Abrechnungseinheit für Dataplex Universal Catalog. Die tatsächliche Messung hängt von den einzelnen Funktionen ab, die Sie verwenden.

Preise für die Verarbeitung in der Standardstufe des Dataplex Universal Catalog für Knowledge Catalog

Die Standardstufe von Dataplex Universal Catalog umfasst die Funktion zur Datenermittlung, die Metadaten in den von Dataplex Universal Catalog verwalteten Daten ermittelt. Die Preise für die Region Ihrer Wahl sind unten aufgeführt.

  • Johannesburg (africa-south1)
  • Taiwan (asia-east1)
  • Hong Kong (asia-east2)
  • Tokyo (asia-northeast1)
  • Osaka (asia-northeast2)
  • Seoul (asia-northeast3)
  • Mumbai (asia-south1)
  • Singapore (asia-southeast1)
  • Jakarta (asia-southeast2)
  • Bangkok (asia-southeast3)
  • Sydney (australia-southeast1)
  • Melbourne (australia-southeast2)
  • Warsaw (europe-central2)
  • Finland (europe-north1)
  • Stockholm (europe-north2)
  • Madrid (europe-southwest1)
  • Belgium (europe-west1)
  • Berlin (europe-west10)
  • Turin (europe-west12)
  • London (europe-west2)
  • Frankfurt (europe-west3)
  • Netherlands (europe-west4)
  • Zurich (europe-west6)
  • Milan (europe-west8)
  • Paris (europe-west9)
  • Doha (me-central1)
  • Dammam (me-central2)
  • Tel Aviv (me-west1)
  • Montreal (northamerica-northeast1)
  • Toronto (northamerica-northeast2)
  • Mexico (northamerica-south1)
  • Sao Paulo (southamerica-east1)
  • Santiago (southamerica-west1)
  • Iowa (us-central1)
  • Oklahoma (us-central2)
  • South Carolina (us-east1)
  • Northern Virginia (us-east4)
  • Columbus (us-east5)
  • Dallas (us-south1)
  • Oregon (us-west1)
  • Los Angeles (us-west2)
  • Salt Lake City (us-west3)
  • Las Vegas (us-west4)
Rabattoptionen einblenden
Posten

Meter

Default* (USD)
BigQuery CUD - 1 Year* (USD)
BigQuery CUD - 3 Year* (USD)

Dataplex-Verarbeitung

pro DCU und Zeiteinheit

0,06 $0,054 $0,048 $
* Jedes Nutzungsmodell hat eine eindeutige ID. Möglicherweise ist Ihre Zustimmung nötig, um Rabatte auf das Nutzungsmodell erhalten zu können. Hier finden Sie weitere Informationen.

Kostenlose Stufe des Dataplex Universal Catalog für Knowledge Catalog

Im Rahmen der kostenlosen Stufe von Google Cloud bietet Knowledge Catalog einige Ressourcen bis zu einem bestimmten Limit kostenlos an. Diese kostenlosen Nutzungskontingente sind während des kostenlosen Testzeitraums und auch danach verfügbar. Wenn Sie die Nutzungskontingente überschreiten und der kostenlose Testzeitraum abgelaufen ist, fallen die in den obigen Abschnitten genannten Kosten an.

Hinweis: Das kostenlose Kontingent für Knowledge Catalog ist nur für die SKU „Dataplex Universal Catalog Standard Processing“ verfügbar, nicht für die SKU „Dataplex Universal Catalog Premium Processing“.

Ressource

Monatliche Limits für kostenlose Nutzung

Dataplex Universal Catalog-Verarbeitung

100 DCU-Stunden

Preise für die Premium-Verarbeitung im Dataplex Universal Catalog für Knowledge Catalog

Die Premium-Verarbeitungsstufe von Dataplex umfasst Datenherkunft, Datenqualität und Datenprofilerstellung.

  • Johannesburg (africa-south1)
  • Taiwan (asia-east1)
  • Hong Kong (asia-east2)
  • Tokyo (asia-northeast1)
  • Osaka (asia-northeast2)
  • Seoul (asia-northeast3)
  • Mumbai (asia-south1)
  • Delhi (asia-south2)
  • Singapore (asia-southeast1)
  • Jakarta (asia-southeast2)
  • Bangkok (asia-southeast3)
  • Sydney (australia-southeast1)
  • Melbourne (australia-southeast2)
  • Warsaw (europe-central2)
  • Finland (europe-north1)
  • Stockholm (europe-north2)
  • Madrid (europe-southwest1)
  • Belgium (europe-west1)
  • Berlin (europe-west10)
  • Turin (europe-west12)
  • London (europe-west2)
  • Frankfurt (europe-west3)
  • Netherlands (europe-west4)
  • Zurich (europe-west6)
  • Milan (europe-west8)
  • Paris (europe-west9)
  • Doha (me-central1)
  • Dammam (me-central2)
  • Tel Aviv (me-west1)
  • Montreal (northamerica-northeast1)
  • Toronto (northamerica-northeast2)
  • Mexico (northamerica-south1)
  • Sao Paulo (southamerica-east1)
  • Santiago (southamerica-west1)
  • Iowa (us-central1)
  • Oklahoma (us-central2)
  • South Carolina (us-east1)
  • Northern Virginia (us-east4)
  • Columbus (us-east5)
  • Alabama (us-east7)
  • Dallas (us-south1)
  • Oregon (us-west1)
  • Los Angeles (us-west2)
  • Salt Lake City (us-west3)
  • Las Vegas (us-west4)
  • Phoenix (us-west8)
Rabattoptionen einblenden
Posten

Meter

Default* (USD)
BigQuery CUD - 1 Year* (USD)
BigQuery CUD - 3 Year* (USD)

Preise für die Premium-Verarbeitung in Dataplex

pro DCU und Zeiteinheit

0,089 $0,0801 $0,0712 $
* Jedes Nutzungsmodell hat eine eindeutige ID. Möglicherweise ist Ihre Zustimmung nötig, um Rabatte auf das Nutzungsmodell erhalten zu können. Hier finden Sie weitere Informationen.

Berechnung der DCU-Gebühren

Die DCU-Gebühren für die einzelnen Funktionen werden wie folgt berechnet:

1. Automatische Datenqualitätsscans:

  • Der DCU-Stundenverbrauch ist proportional zur Verarbeitung, die für die Profilerstellung der Daten und die Berechnung der Datenqualitätsmesswerte erforderlich ist. Die Abrechnung erfolgt sekundengenau mit einer Mindestnutzungsdauer von einer Minute.
  • Die Kosten hängen von der Anzahl der Zeilen, der Anzahl der Spalten, der Menge der gescannten Daten, der Konfiguration der Datenqualitätsregel, den Partitionierungs- und Clusteringeinstellungen der Tabelle und der Häufigkeit des Scans ab.
  • Für Scans zur Anomalieerkennung der Datenqualität fallen keine DCU-Gebühren an. Stattdessen gelten die standardmäßigen BigQuery-Preise für Computing, Speicher sowie BQML-Modelltraining, ‑Verarbeitung und ‑Bereitstellung.
  • Wenn Sie eine benutzerdefinierte Ausführungsidentität verwenden, ändert sich die Abrechnung des Scans. Wenn Sie eine benutzerdefinierte Ausführungsidentität angeben, werden die mit dem Scan verbundenen Rechen- und Speicherkosten direkt Ihrem BigQuery-Projekt in Rechnung gestellt, wobei die Standard-SKUs von Dataplex Premium umgangen werden.

2. Es gibt mehrere Möglichkeiten, die Kosten für automatische Datenqualitätsscans zu senken:

  • Probenahme
  • Inkrementelle Scans
  • Wenn Sie die Gebühren für die Datenqualität von anderen Gebühren in der Dataplex Premium-Verarbeitungs-SKU trennen möchten, verwenden Sie im Cloud Billing-Bericht das Label goog-dataplex-workload-type mit dem Wert DATA_QUALITY.

3. Verwenden Sie die folgenden Labels, die im Abrechnungsexport in BigQuery verfügbar sind, um zusammengefasste Gebühren zu filtern:

  • goog-dataplex-datascan-data-source-dataplex-entity
  • goog-dataplex-datascan-data-source-dataplex-lake
  • goog-dataplex-datascan-data-source-dataplex-zone
  • goog-dataplex-datascan-data-source-project
  • goog-dataplex-datascan-data-source-region
  • goog-dataplex-datascan-id
  • goog-dataplex-datascan-job-id

4. Datenprofilscans:

  • Der DCU-Stundenverbrauch ist proportional zur Verarbeitung, die für die Profilerstellung der Daten und die Berechnung der Datenqualitätsmesswerte erforderlich ist. Die Abrechnung erfolgt sekundengenau mit einer Mindestnutzungsdauer von einer Minute.
  • Die Kosten hängen von der Anzahl der Zeilen und Spalten, der Menge der gescannten Daten, den Partitionierungs- und Clusteringeinstellungen der Tabelle und der Häufigkeit des Scans ab.
  • Wenn Sie eine benutzerdefinierte Ausführungsidentität verwenden, ändert sich die Abrechnung des Scans. Wenn Sie eine benutzerdefinierte Ausführungsidentität angeben, werden die mit dem Scan verbundenen Rechen- und Speicherkosten direkt Ihrem BigQuery-Projekt in Rechnung gestellt, wobei die Standard-SKUs von Dataplex Premium umgangen werden.

5. Es gibt mehrere Möglichkeiten, die Kosten für Datenprofilscans zu senken:

  • Probenahme
  • Inkrementelle Scans
  • Spaltenfilterung
  • Zeilenfilterung
  • Wenn Sie die Kosten für die Datenprofilerstellung von anderen Kosten in der Dataplex Premium Processing-SKU trennen möchten, verwenden Sie im Cloud Billing-Bericht das Label goog-dataplex-workload-type mit dem Wert DATA_PROFILE.

6. Verwenden Sie die folgenden Labels, die im Abrechnungsexport in BigQuery verfügbar sind, um zusammengefasste Gebühren zu filtern:

  • goog-dataplex-datascan-data-source-dataplex-entity
  • goog-dataplex-datascan-data-source-dataplex-lake
  • goog-dataplex-datascan-data-source-dataplex-zone
  • goog-dataplex-datascan-data-source-project
  • goog-dataplex-datascan-data-source-region
  • goog-dataplex-datascan-id
  • goog-dataplex-datascan-job-id

Data Lineage – Preise

Sie zahlen für die Rechenleistung, die für die automatische Berichterstellung zur Datenherkunft aus unterstützten Google Cloud-Systemen verbraucht wird. Die Abrechnung erfolgt über das Projekt, in dem Sie den Job ausgeführt haben.

Wenn Sie die Kosten für die Datenherkunft von anderen Kosten in der Dataplex Premium Processing-SKU trennen möchten, verwenden Sie das Label goog-dataplex-workload-type mit dem Wert LINEAGE im Cloud-Abrechnungsbericht.

Abrechenbare und nicht abrechenbare Nutzung

Für die folgenden Aktivitäten fallen Gebühren an:

  • Automatisches Parsen der Datenherkunft: Der Verbrauch von Data Compute Unit-Stunden (DCU) hängt von der Komplexität der Verarbeitung ab. DCUs messen die abstrakte Rechenkapazität, die für das Parsen zugewiesen wird. Der Verbrauch wird anhand der Anzahl der Jobs, der Jobausführungen und der Anzahl der erstellten Abstammungslinks berechnet. 

Diese Kosten fallen an, wenn der Quelltyp Origin der Data Lineage API auf einen anderen Wert als CUSTOM gesetzt ist. Werte wie BIGQUERY, DATAPROC oder COMPOSER geben an, dass die Datenherkunft automatisch von Google Cloud aus den Logs und Metadaten des Dienstes extrahiert wird. Für diesen Extraktionsprozess sind Rechenressourcen (DCUs) erforderlich, weshalb er kostenpflichtig ist. Im Gegensatz dazu bedeutet CUSTOM, dass Sie das Parsen selbst durchgeführt haben und nur das Ergebnis speichern, was kostenlos ist.

Die folgenden Aktivitäten sind kostenlos:

  • Benutzerdefinierte Berichte zur Datenherkunft: Berichte zur Datenherkunft aus Drittanbietersystemen oder benutzerdefinierten Integrationen (bei denen der Quelltyp CUSTOM ist) sind kostenlos. Dazu gehören folgende Methoden:
  • Rufen Sie ProcessOpenLineageRunEvent auf, um OpenLineage-kompatible Ereignisse zu importieren.
  • Erstellen eines LineageEvent mit einem benutzerdefinierten Client, um native Lineage-Ereignisse manuell zu melden.
  • Prozesse und Ausführungen melden: Das Melden der Prozessmetadaten selbst ist kostenlos. Gebühren fallen nur für das automatische Parsen von LineageEvents an.
  • Lineage Consumption: Das Abrufen von Lineage (mit den Methoden „Get“ oder „List“) und das Löschen von Lineage (mit den Methoden „Delete“) sind kostenlos.

Preisbeispiel

In diesem Beispiel aktivieren Sie die Daten-Lineage, um die Lineage für BigQuery in Ihrem Projekt zu verfolgen. Das Projekt befindet sich am Standort „us-central1“, wo eine DCU-Stunde 0,089 $ kostet.

Das Melden der Herkunft zu oder von einer EntityReference kostet etwa 0,0056 DCU-Stunden. Eine EntityReference identifiziert eine Datenressource in Google Cloud eindeutig, z. B. eine BigQuery-Tabelle oder einen Cloud Storage-Bucket.

  • Täglicher Job: Sie führen 30 Tage lang einmal täglich den folgenden BigQuery-Job aus:

CREATE TABLE tableB1 AS SELECT * FROM tableA JOIN tableC USING (column);

Ergebnis: Dieser Vorgang generiert Lineage-Links, die zwei Quelltabelle mit einer Zieltabelle verbinden (3 unterschiedliche Entitäten).

  • Job jeden zweiten Tag: Sie führen den folgenden Job jeden zweiten Tag aus (15-mal im Monat):

CREATE TABLE tableB2 AS SELECT * FROM tableA, tableC, tableD;

Ergebnis: Dieser Vorgang generiert Lineage-Links, die drei Quelltabellen mit einer Zieltabelle verbinden (4 unterschiedliche Entitäten).

Kostenberechnung

Nehmen Sie für diesen Monat an, dass 1 GiB an Data Lineage-Metadaten generiert wurde. Die Kosten werden folgendermaßen berechnet:

  • Täglicher Job: 30 Tage × 3 Entitäten × ~0,0056 DCU-Stunden × 0,089 $ ≈ 0,045 $
  • Job jeden zweiten Tag: 15 Tage × 4 Entitäten × 0,0056 DCU-Stunden × 0,089 $ = 0,030 $
  • Speicher: (1 GiB – 1 MiB kostenlos) × 2,00 $ = 1,998 $

Gesamt: ~0,045 $ + 0,030 $ + 1,998 $ = ~2,07 $

Preise für die Speicherung von Metadaten im Knowledge Catalog (Dataplex Universal Catalog)

Preis für den Metadatenspeicher

Knowledge Catalog verwendet die SKU für den Metadatenspeicher, um die Speicherung von Metadaten abzurechnen. Der Metadatenspeicher wird in Gibibyte (GiB) gemessen, wobei 1 GiB 1.073.741.824 Byte beträgt. Knowledge Catalog misst die durchschnittliche Menge der gespeicherten Metadaten während eines kurzen Zeitintervalls. Für die Abrechnung werden diese Messungen zu einem Monatsdurchschnitt zusammengefasst, der mit der monatlichen Rate multipliziert wird.

Hinweis: Die Speicherung von Metadaten für automatisch aufgenommene technische Metadaten aus Google Cloud-Diensten wie BigQuery ist kostenlos.

Wenn Sie in einer anderen Währung als US-Dollar bezahlen, gelten die Preise, die unter Cloud Platform SKUs für Ihre Währung angegeben sind.

Knowledge Catalog-Speicherpreise

Die Gebühren für die Metadatenspeicherung (einschließlich der für Einträge und Aspekte) werden dem Projekt in Rechnung gestellt, in dem die jeweilige Ressource erstellt wurde.

Durchschnittlicher monatlicher Speicherplatz

Preis (in $)

Beliebig

0,002739726 $ / 1 gibibyte hour

Wenn eine Ressource in Data Catalog gleichzeitig in Dataplex Universal Catalog verfügbar gemacht wird, wird Ihnen nur eine aktive Instanz dieser Ressource in Rechnung gestellt.

Dataplex Universal Catalog API charges for Knowledge Catalog

API-Aufrufe, die durch die Interaktion von Nutzern mit dem Wissenskatalog ausgelöst werden, sind kostenlos. Dazu gehören:

  • Dataplex Universal Catalog-Ressourcen erstellen und verwalten
  • Lineage-Ressourcen erstellen und verwalten
  • Katalogsuche

Preisbeispiel

In diesem Abschnitt finden Sie Beispiele für die Berechnung der Kosten für Dataplex Universal Catalog.

Kleine Aspekte

  • Nutzer A erstellt und wendet kleine Aspekte an (jeweils 1.024 Byte). Für 10 $ pro Monat kann der Nutzer 5 GiB Metadaten speichern, was ungefähr 5 Mio. Aspekten entspricht. Wenn wir von einem Aspekt pro Tabelle ausgehen, ergibt das insgesamt 5 Millionen Tabellen mit Aspekten.
  • Nutzer B erstellt am 10. des Monats 5 Mio. Aspekte mit jeweils 1 KB und löscht die Aspekte am 20. Die Kosten betragen 3,33 $, berechnet als 5 GiB Daten geteilt durch ein Drittel des Monats:
  • Beispiel
Wird geladen...

Große Aspekte

  • Nutzer C erstellt und wendet große Aspekte an (jeweils 10 KB). Für 10 $/Monat kann der Nutzer 5 GiB Metadaten speichern, was ungefähr 500.000 Aspekten entspricht. Bei einem Aspekt pro Tabelle sind das insgesamt 500.000 Tabellen mit Aspekten.
  • Nutzer D erstellt 10.000 Aspekttypen (z. B. ETL, Data Governance, Data Quality) und wendet große Aspekte (jeweils 10 KB) mit jedem der 10 Aspekttypen an. Für 10 $/Monat kann der Nutzer 5 GiB Metadaten speichern, was ungefähr 500.000 Aspekten entspricht. Bei 10 Aspekten pro Tabelle sind das insgesamt 50.000 Tabellen mit Aspekten.

Data Catalog-Preise (veraltet)

In diesem Abschnitt werden die Preise für Data Catalog beschrieben, der sich in der Einstellungsphase befindet (Umstellung auf Dataplex Universal Catalog, um Dienstunterbrechungen zu vermeiden).

Die Data Catalog-Gebühren gelten für den Metadatenspeicher für Data Catalog und API-Aufrufe an die Data Catalog API.

Die Gebühren für den Metadatenspeicher und API-Aufrufe fallen täglich an. Sie können die noch nicht abgerechnete Nutzung in der Google Cloud Console einsehen.

Hinweis: Sofern nicht anders angegeben, gelten Preismodelle für Konten, nicht für einzelne Projekte.

Data Catalog-Speicherpreise

Durchschnittlicher monatlicher Speicherplatz

Preis (in $)

Bis zu 1 MiB

Kostenlos

Mehr als 1 MiB

0,002739726 $ / 1 gibibyte hour

Gebühren für die Data Catalog API

Data Catalog API-Aufrufe werden wie in der folgenden Tabelle beschrieben abgerechnet:

Hinweis: Suchanfragen, die auf der Data Catalog-Seite in der Google Cloud Console ausgeführt werden, sind kostenlos.

Posten

Preis (in $)

API-Aufrufe

0 count to 1,000,000 count
0,00 $ (Free) / 100,000 count, per 1 month / account
1,000,000 count and above
10,00 $ / 100,000 count, per 1 month / account

Wenn Sie in einer anderen Währung als US-Dollar bezahlen, gelten die unter Cloud Platform SKUs für Ihre Währung angegebenen Preise.

Nächste Schritte

Individuelles Angebot einholen

Mit den „Pay as you go“-Preisen von Google Cloud bezahlen Sie nur für die Dienste, die Sie nutzen. Wenden Sie sich an unser Vertriebsteam, wenn Sie ein individuelles Angebot für Ihr Unternehmen erhalten möchten.
Google Cloud