Serverlose Dataproc-Kontingente

Für Dataproc Server gelten API-Kontingentlimits, die auf Projekt- und Regionsebene erzwungen werden. Die Kontingente werden alle 60 Sekunden zurückgesetzt.

In der folgenden Tabelle sind die spezifischen und standardmäßigen Dataproc-API-Kontingente pro Projekt, Kontingentlimits und die Methoden aufgeführt, für die sie gelten.

Kontingenttyp Limit Betroffene API-Methoden
ClusterOperationRequestsPerMinutePerProjectPerRegion 200 Abbruch.
BatchOperationRequestsPerMinutePerProjectPerRegion 200 CreateBatch, DeleteBatch
DefaultRequestsPerMinutePerProjectPerRegion 7.500 GetBatch, ListBatches

Weitere Google Cloud-Kontingente

Serverlose Dataproc-Batches verwenden andere Google Cloud-Produkte. Für diese Produkte gibt es Kontingente auf Projektebene, die Kontingente für die serverlose Nutzung von Dataproc umfassen. Einige Dienste sind erforderlich, um Dataproc Server zu verwenden, z. B. Compute Engine und Cloud Storage. Andere Dienste wie BigQuery und Cloud Bigtable können optional mit Dataproc Serverless verwendet werden.

Erforderliche Dienste

Die folgenden Dienste, die Kontingentlimits erzwingen, werden automatisch zum Erstellen von Dataproc-Batches verwendet. Sie sind erforderlich.

Compute Engine

Dataproc-Batches nutzen die Compute Engine-CPUS- und -DISKS_TOTAL_GB-Kontingente. Die Compute Engine-Kontingente sind in regionale und globale Limits unterteilt. Diese Limits gelten für Batches, die Sie erstellen. Wenn Sie beispielsweise einen Spark-Batch mit vier Treiberkernen (spark.driver.cores=4) und zwei Executors mit jeweils vier Kernen (spark.executor.cores=4) ausführen möchten, benötigen Sie 12 virtuelle CPUs (4 * 3). Dieser Batch wird auf das regionale Kontingentlimit von 24 virtuellen CPUs angerechnet.

Standard-Batchressourcen

Wenn Sie einen Batch mit Standardeinstellungen erstellen, werden die folgenden Compute Engine-Ressourcen verwendet:

Posten Verwendete Ressourcen
Virtuelle CPUs 12
VM-Instanzen 3
Nichtflüchtiger Speicher 3.000 GB

Cloud Logging

Dataproc Serverless speichert die Batchausgabe und Logs in Cloud Logging. Das Cloud Logging-Kontingent gilt für Ihre Dataproc-Batches.

Optionale Dienste

Die folgenden Dienste mit Kontingentlimits können optional mit serverlosen serverlosen Batches verwendet werden.

BigQuery

Beim Lesen oder Schreiben von Daten in BigQuery gilt das BigQuery-Kontingent.

Bigtable

Beim Lesen oder Schreiben von Daten in Bigtable gilt das Bigtable-Kontingent.