Dataproc Serverless – Preise
Die Preise für Dataproc Serverless for Spark basieren auf der Anzahl der Data Compute Units (DCU), der Anzahl der verwendeten Beschleuniger und der Menge des verwendeten Shuffle-Speichers. Datenverarbeitungseinheiten, Beschleuniger und Shuffle-Speicher werden pro Sekunde abgerechnet, wobei die Mindestdauer für Datenverarbeitungseinheiten und Shuffle-Speicher 1 Minute und für Beschleuniger 5 Minuten beträgt.
Jede Dataproc-vCPU zählt als 0,6 DCU. RAM wird unter und über 8 GB unterschiedlich berechnet. Jedes Gigabyte RAM unter 8 GB pro vCPU zählt als 0,1 DCU und jedes Gigabyte RAM über 8 GB pro vCPU als 0,2 DCU. Der von Spark-Treibern und Executors genutzte Arbeitsspeicher und die Systemspeichernutzung werden zur DCU-Nutzung gezählt.
Standardmäßig verbraucht jede Dataproc Serverless-Instanz für Spark-Batch- und interaktive Arbeitslasten für die Dauer der Arbeitslast mindestens 12 DCU: Der Treiber verwendet 4 vCPUs und 16 GB RAM und verbraucht 4 DCU, und jeder der 2 Executoren verwendet 4 vCPUs und 16 GB RAM und verbraucht ebenfalls 4 DCU. Sie können die Anzahl der vCPUs und die Speicherkapazität pro vCPU anpassen, indem Sie Spark-Eigenschaften festlegen. Es fallen keine zusätzlichen Gebühren für Compute Engine-VMs oder Persistent Disks an.
Preise für Data Compute Unit (DCU)
Die unten angegebene DCU-Rate ist eine Stundenrate. Die Abrechnung erfolgt pro Sekunde, mit einer Mindestnutzungsdauer von einer Minute.
Dataproc Serverless für interaktive Spark-Arbeitslasten wird zum Premium-Preis abgerechnet.
Preise für Shuffle-Speicherplatz
Die unten angegebene Shuffle-Speicherrate ist eine monatliche Rate. Die Gebühren werden pro Sekunde abgerechnet, mit einer Mindestdauer von 1 Minute für Standard-Shuffle-Speicher und 5 Minuten für Premium-Shuffle-Speicher. Premium Shuffle-Speicher kann nur mit Premium-Compute-Einheit verwendet werden.
Preise für Beschleuniger
Die unten angegebene Beschleunigungsrate ist eine Stundenrate. Die Gebühren werden pro Sekunde abgerechnet, mit einer Mindestdauer von 5 Minuten.
Preisbeispiel
Wenn die Dataproc Serverless for Spark-Batch-Arbeitslast mit 12 DCU (spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2)
24 Stunden lang in der Region us-central1 ausgeführt wird und 25 GB Shuffle-Speicherplatz verbraucht, sieht die Preisberechnung wie folgt aus:
Total compute cost = 12 * 24 * $0.060000 = $17.28 Total storage cost = 25 * ($0.040/301) = $0.03 ------------------------------------------------ Total cost = $17.28 + $0.03 = $17.31
Hinweise:
- Im Beispiel wird von einem Monat mit 30 Tagen ausgegangen. Da die Dauer der Batch-Arbeitslast einen Tag beträgt, wird die monatliche Shuffle-Speicherrate durch 30 geteilt.
Wenn die Dataproc Serverless for Spark Batch-Arbeitslast mit 12 DCU und 2 L4-GPUs (spark.driver.cores=4,spark.executor.cores=4,
spark.executor.instances=2,spark.dataproc.driver.compute.tier=premium,
spark.dataproc.executor.compute.tier=premium,
spark.dataproc.executor.disk.tier=premium,
spark.dataproc.executor.resource.accelerator.type=l4) 24 Stunden lang in der Region us-central1 ausgeführt wird und 25 GB Shuffle-Speicher verbraucht, sieht die Preisberechnung wie folgt aus.
Total compute cost = 12 * 24 * $0.089000 = $25.632 Total storage cost = 25 * ($0.1/301) = $0.083 Total accelerator cost = 2 * 24 * $0.6720 = $48.39 ------------------------------------------------ Total cost = $25.632 + $0.083 + $48.39 = $74.105
Hinweise:
- Im Beispiel wird von einem Monat mit 30 Tagen ausgegangen. Da die Dauer der Batch-Arbeitslast einen Tag beträgt, wird die monatliche Shuffle-Speicherrate durch 30 geteilt.
Wenn die interaktive Arbeitslast von Dataproc Serverless for Spark mit 12 DCU (spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2)
24 Stunden lang in der Region us-central1 ausgeführt wird und 25 GB Shuffle-Speicher verbraucht, erfolgt die Preisberechnung wie folgt:
Total compute cost = 12 * 24 * $0.089000 = $25.632 Total storage cost = 25 * ($0.040/301) = $0.03 ------------------------------------------------ Total cost = $25.632 + $0.03 = $25.662
Hinweise:
- Im Beispiel wird von einem Monat mit 30 Tagen ausgegangen. Da die Dauer der Batch-Arbeitslast einen Tag beträgt, wird die monatliche Shuffle-Speicherrate durch 30 geteilt.
Beispiel für Preisschätzung
Wenn eine Batcharbeitslast abgeschlossen ist, berechnet Dataproc Serverless for Spark UsageMetrics, die eine Näherung an die Gesamtzahl der von der abgeschlossenen Arbeitslast verbrauchten DCU-, Beschleuniger- und Shuffle-Speicherressourcen enthalten. Nach der Ausführung einer Arbeitslast können Sie den Befehl gcloud dataproc batches describe BATCH_ID ausführen, um Messwerte zur Arbeitslastnutzung anzuzeigen, anhand derer Sie die Kosten für die Ausführung der Arbeitslast schätzen können.
Beispiel:
Dataproc Serverless for Spark führt eine Arbeitslast auf einem temporären Cluster mit einem Master und zwei Workern aus. Jeder Knoten verbraucht 4 DCU (Standard: 4 DCU pro Kern, siehe spark.dataproc.driver.disk.size)
und 400 GB Shuffle-Speicher (Standard: 100 GB pro Kern, siehe
spark.driver.cores).
Die Laufzeit des Arbeitsloads beträgt 60 Sekunden. Außerdem hat jeder Worker eine GPU, also insgesamt zwei im Cluster.
Der Nutzer führt gcloud dataproc batches describe BATCH_ID --region REGION aus,
um Nutzungsmesswerte zu erhalten. Die Befehlsausgabe enthält den folgenden Ausschnitt: (milliDcuSeconds: 4 DCUs x 3 VMs x 60 seconds x 1000 = 720000, milliAcceleratorSeconds: 1 GPU x 2 VMs x 60 seconds x 1000 = 120000 und shuffleStorageGbSeconds: 400GB x 3 VMs x 60 seconds = 72000):
runtimeInfo:
approximateUsage:
milliDcuSeconds: '720000'
shuffleStorageGbSeconds: '72000'
milliAcceleratorSeconds: '120000'
Nutzung anderer Google Cloud-Ressourcen
Ihre Dataproc Serverless for Spark-Arbeitslast kann optional die folgenden Ressourcen verwenden. Jede Ressource verfügt über ein eigenes Preismodell:
Nächste Schritte
- Lesen Sie die Dataproc Serverless-Dokumentation.
- Erste Schritte mit Dataproc Serverless
- Preisrechner ausprobieren