Kontingente für Dataproc Serverless

Für Dataproc Serverless gelten API-Kontingentlimits auf Projekt- und Regionsebene. Die Kontingente werden alle 60 Sekunden zurückgesetzt.

In der folgenden Tabelle sind die spezifischen und Standardwerte pro Projekt aufgeführt. Kontingenttypen, Kontingentlimits der Dataproc Serverless API und auf die sie angewendet werden.

Kontingenttyp Limit API-Methoden oder -Beschreibung
ClusterOperationRequestsPerMinutePerProjectPerRegion 200 CancelOperation (Das Abbrechen des Batchvorgangskontingents wird mit dem Abbrechen des Clustervorgangskontingents geteilt.)
BatchOperationRequestsPerMinutePerProjectPerRegion 200 CreateBatch, DeleteBatch
SessionOperationRequestsPerMinutePerProjectPerRegion 200 CreateSession, DeleteSession, TerminateSession
DefaultRequestsPerMinutePerProjectPerRegion 7.500 GetBatch, ListBatches, GetSession, ListSessions
ActiveOperationsPerProjectPerRegion 5.000 Beschränkung der Gesamtzahl gleichzeitiger aktiver Vorgänge aller Typen in einem Projekt in einer Region.

Weitere Google Cloud-Kontingente

In Dataproc Serverless-Batches werden andere Google Cloud-Produkte verwendet. Diese Produkte haben Kontingente auf Projektebene, einschließlich Kontingente, die für Dataproc Serverless gelten verwenden. Einige Dienste sind für die Verwendung von Dataproc Serverless erforderlich, z. B. Compute Engine und Cloud Storage. Andere Dienste wie BigQuery und Bigtable können optional mit Dataproc Serverless verwendet werden.

Erforderliche Dienste

Die folgenden Dienste mit Kontingentlimits sind zum Erstellen von Dataproc Serverless-Batches erforderlich.

Compute Engine

Dataproc Serverless-Batches verbrauchen die folgenden Compute Engine-Ressourcenkontingente:

Computing-Stufe Kontingent
Standard CPUS
Premium N2_CPUS
Laufwerksstufe Kontingent
Standard DISKS_TOTAL_GB
Premium LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY mit N2-VM-Familie
GPU-Beschleuniger Kontingent
L4 NVIDIA_L4_GPUS
A100 40GB NVIDIA_A100_GPUS
A100 80GB NVIDIA_A100_80GB_GPUS

Die Compute Engine-Kontingente sind in regionale und globale Limits unterteilt. Diese Limits gelten für die von Ihnen erstellten Batches. Wenn Sie beispielsweise einen Spark-Batch mit 4 Treiberkernen (spark.driver.cores=4) und zwei Executors mit jeweils 4 Kernen (spark.executor.cores=4) ausführen, werden 12 virtuelle CPUs (4 * 3) verwendet. Diese Batch-Nutzung wird auf das regionale Kontingentlimit von 24 virtuellen CPUs angerechnet.

Standard-Batchressourcen

Wenn Sie einen Batch mit den Standardeinstellungen erstellen, werden die folgenden Compute Engine-Ressourcen verwendet:

Posten Verwendete Ressourcen
Virtuelle CPUs 12
VM-Instanzen 3
nichtflüchtiger Speicher 3.000 GB

Cloud Logging

Dataproc Serverless speichert Batchausgabe und protokolliert Cloud Logging: Die Cloud Logging-Kontingent für Ihre serverlosen Dataproc-Batches gilt.

Optionale Dienste

Die folgenden Dienste mit Kontingentlimits können optional mit Serverlose Dataproc-Batches.

BigQuery

Beim Lesen oder Schreiben von Daten in BigQuery Dabei gelten BigQuery-Kontingente.

Bigtable

Beim Lesen oder Schreiben von Daten in Bigtable Es gilt das Bigtable-Kontingent.