Dataproc Serverless – Preise

Die Preise für Dataproc Serverless für Spark basieren auf der Anzahl der Daten-Computing- Einheiten (DCUs), die Anzahl der verwendeten Beschleuniger und die Menge des Shuffle-Speichers verwendet. DCUs, Beschleuniger und Shuffle-Speicher werden pro Sekunde abgerechnet, wobei Mindestgebühr von 1 Minute für DCUs und Shuffle-Speicher, Mindestdauer von 5 Minuten Beschleuniger berechnen.

Jede Dataproc-vCPU zählt als 0,6 DCU. RAM wird anders geladen 8 GB und höchstens 8 GB groß. Jedes Gigabyte RAM unter 8 GB Gigabyte pro vCPU zählt als 0,1 DCU und jedes Gigabyte RAM über 8 Gigabyte pro vCPU zählt als 0,2 DCU. Von Spark-Treibern und -Executors verwendeten Arbeitsspeicher sowie die Systemspeichernutzung werden gezählt auf die DCU-Nutzung.

Standardmäßig kann jede Dataproc Serverless for Spark-Batch- und interaktive Arbeitslast verwendet mindestens 12 DCUs für die Dauer der Arbeitslast: den Treiber verwendet 4 vCPUs und 16 GB RAM sowie 4 DCUs und jeden der 2 Executors verwendet 4 vCPUs und 16 GB RAM und verbraucht 4 DCUs. Sie können die Nummer anpassen von vCPUs und die Speichermenge pro vCPU nach Einstellung Spark-Attribute: Es fallen keine zusätzlichen Gebühren für Compute Engine-VMs oder nichtflüchtigen Speicher an.

Preise für Data Compute Unit (DCU)

Der unten gezeigte DCU-Preis ist ein Stundensatz. Die Kosten werden anteilig berechnet und in Rechnung gestellt bei einer Mindestgebühr von 1 Minute. <ph type="x-smartling-placeholder"></ph> <ph type="x-smartling-placeholder"></ph> Wenn Sie nicht in US-Dollar bezahlen, werden die Preise in Ihrer Währung Cloud Platform-SKUs angewendet werden.

Dataproc Serverless für interaktive Spark-Arbeitslasten wird zum Premium-Tarif abgerechnet.

Preise für Shuffle-Speicher

Die unten gezeigte Shuffle-Speicherrate ist ein monatlicher Preis. Es wird anteilig berechnet und Abrechnung pro Sekunde, mit einer Mindestgebühr von 1 Minute für Standard-Shuffle-Speicher und eine Mindestgebühr von 5 Minuten für Premium-Shuffle-Speicher. Premium-Zufallsmix Speicher kann nur mit Premium-Recheneinheiten verwendet werden.

<ph type="x-smartling-placeholder"></ph> <ph type="x-smartling-placeholder"></ph> Wenn Sie nicht in US-Dollar bezahlen, werden die Preise in Ihrer Währung Cloud Platform-SKUs angewendet werden.

Accelerator-Preise

Die unten gezeigte Beschleunigerrate ist ein Stundensatz. Die Kosten werden anteilig berechnet und in Rechnung gestellt bei einer Mindestladezeit von 5 Minuten. <ph type="x-smartling-placeholder"></ph> <ph type="x-smartling-placeholder"></ph> Wenn Sie nicht in US-Dollar bezahlen, werden die Preise in Ihrer Währung Cloud Platform-SKUs angewendet werden.

Preisbeispiel

Wenn die Batcharbeitslast von Dataproc Serverless for Spark mit 12 DCUs ausgeführt wird (spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2) für 24 Stunden in der Region us-central1 und verbraucht 25 GB Shuffle-Speicher. wie folgt berechnet wird:

Total compute cost = 12 * 24 * $0.060000 = $17.28
Total storage cost = 25 * ($0.040/301) = $0.03
------------------------------------------------
Total cost = $17.28 + $0.03 = $17.31

Hinweise:

  1. Im Beispiel wird von einem Monat mit 30 Tagen ausgegangen. Da die Dauer der Batcharbeitslast einer pro Tag wird die monatliche Shuffle-Speicherrate durch 30 geteilt.

Wenn die Batcharbeitslast von Dataproc Serverless for Spark mit 12 DCUs und 2 L4-GPUs (spark.driver.cores=4,spark.executor.cores=4, spark.executor.instances=2,spark.dataproc.driver.compute.tier=premium, spark.dataproc.executor.compute.tier=premium, spark.dataproc.executor.disk.tier=premium, spark.dataproc.executor.resource.accelerator.type=l4) für 24 Stunden im us-central1 und nutzt 25 GB Shuffle-Speicher. lautet wie folgt.

Total compute cost = 12 * 24 * $0.089000 = $25.632
Total storage cost = 25 * ($0.1/301) = $0.083
Total accelerator cost = 2 * 24 * $0.6720 = $48.39
------------------------------------------------
Total cost = $25.632 + $0.083 + $48.39 = $74.105

Hinweise:

  1. Im Beispiel wird von einem Monat mit 30 Tagen ausgegangen. Da die Dauer der Batcharbeitslast einer pro Tag wird die monatliche Shuffle-Speicherrate durch 30 geteilt.

Wenn die interaktive Arbeitslast von Dataproc Serverless for Spark mit 12 DCUs ausgeführt wird (spark.driver.cores=4,spark.executor.cores=4,spark.executor.instances=2) für 24 Stunden in der Region us-central1 und verbraucht 25 GB Shuffle-Speicher. die Preisberechnung erfolgt wie folgt:

Total compute cost = 12 * 24 * $0.089000 = $25.632
Total storage cost = 25 * ($0.040/301) = $0.03
------------------------------------------------
Total cost = $25.632 + $0.03 = $25.662

Hinweise:

  1. Im Beispiel wird von einem Monat mit 30 Tagen ausgegangen. Da die Dauer der Batcharbeitslast einer pro Tag wird die monatliche Shuffle-Speicherrate durch 30 geteilt.

Beispiel für eine Preisschätzung

Wenn eine Batcharbeitslast abgeschlossen ist, berechnet Dataproc Serverless for Spark UsageMetrics: die eine Schätzung der gesamten DCU, des Beschleunigers und des Shuffle-Vorgangs enthalten. Speicherressourcen, die von der abgeschlossenen Arbeitslast verbraucht wurden. Nach dem Ausführen einer Arbeitslast können Sie den gcloud dataproc batches describe BATCH_ID ausführen, Befehl, um Messwerte zur Arbeitslastnutzung aufzurufen, mit denen Sie die Ausführungskosten schätzen können die Arbeitsbelastung.

Beispiel:

Dataproc Serverless for Spark führt eine Arbeitslast auf einem sitzungsspezifischen Cluster mit einem Master und zwei Workern. Jeder Knoten verbraucht 4 DCUs (Standardwert: 4 DCUs pro Core – siehe spark.dataproc.driver.disk.size) und 400 GB Shuffle-Speicher (Standardeinstellung: 100 GB pro Kern – siehe spark.driver.cores). Die Arbeitslastlaufzeit beträgt 60 Sekunden. Außerdem hat jeder Worker insgesamt 1 GPU im gesamten Cluster.

Der Nutzer führt gcloud dataproc batches describe BATCH_ID --region REGION aus um Nutzungsmesswerte abzurufen. Die Befehlsausgabe enthält das folgende Snippet (milliDcuSeconds: 4 DCUs x 3 VMs x 60 seconds x 1000 = 720000, milliAcceleratorSeconds: 1 GPU x 2 VMs x 60 seconds x 1000 = 120000 und shuffleStorageGbSeconds: 400GB x 3 VMs x 60 seconds = 72000):

runtimeInfo:
  approximateUsage:
    milliDcuSeconds: '720000'
    shuffleStorageGbSeconds: '72000'
    milliAcceleratorSeconds: '120000'

Nutzung anderer Google Cloud-Ressourcen

Ihre Dataproc Serverless for Spark-Arbeitslast kann optional die die folgenden Ressourcen mit eigenem Preismodell in Rechnung gestellt werden, einschließlich, aber nicht beschränkt auf:

Nächste Schritte

Individuelles Angebot einholen

Mit den „Pay as you go“-Preisen von Google Cloud bezahlen Sie nur für die Dienste, die Sie nutzen. Wenden Sie sich an unser Vertriebsteam, wenn Sie ein individuelles Angebot für Ihr Unternehmen erhalten möchten.
Vertrieb kontaktieren