Preise für Dataproc Serverless

Die Preise für Dataproc Serverless for Spark richten sich nach der Anzahl der Data Compute Units (DCUs), der Anzahl der verwendeten Beschleuniger und der Menge des verwendeten Shuffle-Speichers. DCUs, Beschleuniger und Shuffle-Speicher werden pro Sekunde abgerechnet. Für Beschleuniger gilt eine Mindestgebühr von 1 Minute für DCUs und Shuffle-Speicher sowie ein Mindestpreis von 5 Minuten.

Jede Dataproc-vCPU zählt als 0,6 DCU. Der RAM wird unter 8 GB und bei über 8 GB unterschiedlich aufgeladen. Jedes Gigabyte RAM unter 8 GB pro vCPU zählt als 0,1 DCU und jedes Gigabyte an RAM über 8 GB pro vCPU zählt als 0,2 DCU. Der von Spark-Treibern und -Executors genutzte Arbeitsspeicher sowie die Systemspeichernutzung werden auf die DCU-Nutzung angerechnet.

Standardmäßig verbraucht jede Batch- und interaktive Arbeitslast von Dataproc Serverless for Spark mindestens 12 DCUs während der Dauer der Arbeitslast: Der Treiber verwendet 4 vCPUs und 16 GB RAM und nutzt 4 DCUs, jeder der beiden Executors 4 vCPUs und 16 GB RAM sowie 4 DCUs. Sie können die Anzahl der vCPUs und die Menge des Arbeitsspeichers pro vCPU anpassen, indem Sie Spark-Attribute festlegen. Es fallen keine zusätzlichen Gebühren für Compute Engine-VMs oder nichtflüchtigen Speicher an.

Preise für Data Compute Unit (DCU)

Der unten angegebene DCU-Satz ist ein Stundensatz. Die Abrechnung erfolgt anteilig pro Sekunde. Bei Verwendung des Standard-Shuffle-Ansatzes gilt eine Mindestgebühr von 1 Minute und bei Verwendung des Shuffle-Premium-Speichers eine Mindestgebühr von 5 Minuten. Wenn Sie in einer anderen Währung als US-Dollar bezahlen, gelten die Preise, die unter Cloud Platform SKUs für Ihre Währung angegeben sind.

Die interaktive Arbeitslast von Dataproc Serverless for Spark wird zum Premium-Tarif berechnet.

Preise für Shuffle-Speicher

Der unten angegebene Shuffle-Speicherpreis ist eine monatliche Gebühr. Die Kosten werden anteilig pro Sekunde in Rechnung gestellt. Es gilt eine Mindestgebühr von 1 Minute für den Standard-Shuffle-Speicher und eine Mindestgebühr von 5 Minuten für den Premium-Shuffle-Speicher. Premium-Shuffle-Speicher kann nur mit der Premium-Recheneinheit verwendet werden.

Wenn Sie in einer anderen Währung als US-Dollar bezahlen, gelten die Preise, die unter Cloud Platform SKUs für Ihre Währung angegeben sind.

Accelerator-Preise

Der unten angegebene Beschleunigersatz ist ein Stundensatz. Die Abrechnung erfolgt anteilig pro Sekunde, bei einer Mindestdauer von 5 Minuten. Wenn Sie in einer anderen Währung als US-Dollar bezahlen, gelten die Preise, die unter Cloud Platform SKUs für Ihre Währung angegeben sind.

Preisbeispiel

Wenn die Batcharbeitslast von Dataproc Serverless for Spark 24 Stunden lang mit 12 DCUs (spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2) in der Region us-central1 ausgeführt wird und 25 GB Shuffle-Speicher nutzt, wird der Preis wie folgt berechnet.

Total compute cost = 12 * 24 * $0.060000 = $17.28
Total storage cost = 25 * ($0.040/301) = $0.03
------------------------------------------------
Total cost = $17.28 + $0.03 = $17.31

Hinweise:

  1. In diesem Beispiel wird von einem Monat mit 30 Tagen ausgegangen. Da die Batcharbeitslast einen Tag beträgt, wird die monatliche Shuffle-Speicherrate durch 30 geteilt.

Wenn die Batcharbeitslast von Dataproc Serverless for Spark mit 12 DCUs und 2 L4-GPUs (spark.driver.cores=4,spark.executor.cores=4, spark.executor.instances=2,spark.dataproc.driver.compute.tier=premium, spark.dataproc.executor.compute.tier=premium, spark.dataproc.executor.disk.tier=premium, spark.dataproc.executor.resource.accelerator.type=l4) 24 Stunden lang in der Region us-central1 ausgeführt wird und 25 GB Shuffle-Speicher nutzt, wird der Preis wie folgt berechnet.

Total compute cost = 12 * 24 * $0.089000 = $25.632
Total storage cost = 25 * ($0.1/301) = $0.083
Total accelerator cost = 2 * 24 * $0.6720 = $48.39
------------------------------------------------
Total cost = $25.632 + $0.083 + $48.39 = $74.105

Hinweise:

  1. In diesem Beispiel wird von einem Monat mit 30 Tagen ausgegangen. Da die Batcharbeitslast einen Tag beträgt, wird die monatliche Shuffle-Speicherrate durch 30 geteilt.

Wenn die interaktive Dataproc Serverless for Spark-Arbeitslast mit 12 DCUs (spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2) 24 Stunden in der Region us-central1 ausgeführt wird und 25 GB Shuffle-Speicher nutzt, wird der Preis so berechnet:

Total compute cost = 12 * 24 * $0.089000 = $25.632
Total storage cost = 25 * ($0.040/301) = $0.03
------------------------------------------------
Total cost = $25.632 + $0.03 = $25.662

Hinweise:

  1. In diesem Beispiel wird von einem Monat mit 30 Tagen ausgegangen. Da die Batcharbeitslast einen Tag beträgt, wird die monatliche Shuffle-Speicherrate durch 30 geteilt.

Beispiel für eine Preisschätzung

Wenn eine Batcharbeitslast abgeschlossen ist, berechnet Dataproc Serverless for Spark UsageMetrics, die eine Schätzung der gesamten von der abgeschlossenen Arbeitslast verwendeten DCU-, Beschleuniger- und Shuffle-Speicherressourcen enthalten. Nachdem Sie eine Arbeitslast ausgeführt haben, können Sie den Befehl gcloud dataproc batches describe BATCH_ID ausführen, um Nutzungsmesswerte für die Arbeitslast abzurufen und die Kosten für die Ausführung der Arbeitslast abzuschätzen.

Example:

Dataproc Serverless for Spark führt eine Arbeitslast in einem sitzungsspezifischen Cluster mit einem Master und zwei Workern aus. Jeder Knoten verbraucht 4 DCUs (standardmäßig 4 DCUs pro Kern – siehe spark.dataproc.driver.disk.size) und 400 GB Shuffle-Speicher (standardmäßig 100 GB pro Kern – siehe spark.driver.cores). Die Laufzeit der Arbeitslast beträgt 60 Sekunden. Außerdem hat jeder Worker eine GPU, also insgesamt zwei im Cluster.

Der Nutzer führt gcloud dataproc batches describe BATCH_ID --region REGION aus, um Nutzungsmesswerte abzurufen. Die Befehlsausgabe enthält das folgende Snippet (milliDcuSeconds: 4 DCUs x 3 VMs x 60 seconds x 1000 = 720000, milliAcceleratorSeconds: 1 GPU x 2 VMs x 60 seconds x 1000 = 120000 und shuffleStorageGbSeconds: 400GB x 3 VMs x 60 seconds = 72000):

runtimeInfo:
  approximateUsage:
    milliDcuSeconds: '720000'
    shuffleStorageGbSeconds: '72000'
    milliAcceleratorSeconds: '120000'

Nutzung anderer Google Cloud-Ressourcen

Ihre Arbeitslast von Dataproc Serverless for Spark kann optional die folgenden Ressourcen nutzen. Jede Ressource wird nach ihren eigenen Preisen abgerechnet, darunter:

Nächste Schritte

Individuelles Angebot einholen

Mit den „Pay as you go“-Preisen von Google Cloud bezahlen Sie nur für die Dienste, die Sie nutzen. Wenden Sie sich an unser Vertriebsteam, wenn Sie ein individuelles Angebot für Ihr Unternehmen erhalten möchten.
Vertrieb kontaktieren