Dataproc Serverless-Kontingente

Für Dataproc Serverless gelten API-Kontingentlimits auf Projekt- und Regionsebene. Die Kontingente werden alle 60 Sekunden zurückgesetzt.

Umgang mit serverlosen Dataproc-Kontingentfehlern: Wenn Sie ein Kontingentlimit für Dataproc Serverless, ein RESOURCE_EXHAUSTED (HTTP-Code 429) lautet generiert wurde und die entsprechende Dataproc Serverless API-Anfrage fehlschlägt. Da jedoch wird das Dataproc Serverless-Kontingent Ihres Projekts alle 60 Sekunden aktualisiert. können Sie die Anfrage nach einer Minute noch einmal senden.

In der folgenden Tabelle sind die spezifischen und Standardwerte pro Projekt aufgeführt. Kontingenttypen, Kontingentlimits der Dataproc Serverless API und auf die sie angewendet werden.

Kontingenttyp	Limit	API-Methoden oder -Beschreibung
ClusterOperationRequestsPerMinutePerProjectPerRegion	200	CancelOperation (Das Abbrechen des Batchvorgangskontingents wird mit dem Abbrechen des Clustervorgangskontingents geteilt.)
BatchOperationRequestsPerMinutePerProjectPerRegion	200	CreateBatch, DeleteBatch
SessionOperationRequestsPerMinutePerProjectPerRegion	200	CreateSession, DeleteSession, TerminateSession
DefaultRequestsPerMinutePerProjectPerRegion	7.500	GetBatch, ListBatches, GetSession, ListSessions
ActiveOperationsPerProjectPerRegion	5.000	Begrenzung der Gesamtzahl gleichzeitig aktiver Vorgänge aller Typen in einem Projekt in einer Region.

Ressourcenkontingente erhöhen: Öffnen Sie das Google Cloud IAM und Administratorkontingente und wählen Sie die Ressourcen aus, zu ändern. Klicken Sie oben auf Kontingente bearbeiten, um die entsprechenden Kontingente zu erhöhen. Wenn die gewünschten Ressourcen nicht angezeigt werden und nach "Teilweise genutzt" gefiltert wird, stellen Sie im Drop-down-Menü "Kontingenttyp" den Filter auf "Alle Kontingente" um.

Weitere Google Cloud-Kontingente

In Dataproc Serverless-Batches werden andere Google Cloud-Produkte verwendet. Diese Produkte haben Kontingente auf Projektebene, einschließlich Kontingente, die für Dataproc Serverless gelten verwenden. Einige Dienste sind für die Verwendung von Dataproc Serverless erforderlich. wie Compute Engine und Cloud Storage. Andere Dienste wie BigQuery und Bigtable, kann optional mit Dataproc Serverless verwendet werden.

Erforderliche Dienste

Die folgenden Dienste, die Kontingentlimits erzwingen, sind zum Erstellen Serverlose Dataproc-Batches.

Compute Engine

Serverlose Dataproc-Batches verbrauchen Folgendes: Compute Engine-Ressourcenkontingente:

Compute-Stufe	Kontingent
Standard	CPUS
Premium	N2_CPUS
Laufwerksstufe	Kontingent
Standard	DISKS_TOTAL_GB
Premium	LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY mit N2-VM-Familie
GPU-Beschleuniger	Kontingent
L4	NVIDIA_L4_GPUS
A100 40GB	NVIDIA_A100_GPUS
A100 80GB	NVIDIA_A100_80GB_GPUS

Die Compute Engine-Kontingente sind in regionale und globale Limits unterteilt. Diese Limits gelten für Batches, erstellen. Sie können beispielsweise einen Spark-Batch mit vier Treiberkernen ausführen. (spark.driver.cores=4) und zwei Executors mit jeweils 4 Kernen (spark.executor.cores=4), verwenden Sie 12 virtuelle CPUs (4 * 3). Diese Batchnutzung wird auf das regionale Kontingentlimit von 24 virtuellen CPUs angerechnet.

Kostenlose Testkontingente: Wenn Sie die kostenlose Testversion von Compute Engine verwenden, hat Ihr Projekt ein Limit von 8 CPUs. Sie müssen die Abrechnung im Projekt aktivieren, um dieses Limit zu erhöhen.

Standard-Batchressourcen

Wenn Sie einen Batch mit Standardeinstellungen erstellen, Ressourcen verwendet werden:

Posten	Verwendete Ressourcen
Virtuelle CPUs	12
VM-Instanzen	3
nichtflüchtiger Speicher	3.000 GB

Cloud Logging

Dataproc Serverless speichert Batchausgabe und protokolliert Cloud Logging: Die Cloud Logging-Kontingent für Ihre serverlosen Dataproc-Batches gilt.

Optionale Dienste

Die folgenden Dienste mit Kontingentlimits können optional mit Serverlose Dataproc-Batches.

BigQuery

Beim Lesen oder Schreiben von Daten in BigQuery Dabei gelten BigQuery-Kontingente.

Bigtable

Beim Lesen oder Schreiben von Daten in Bigtable Es gilt das Bigtable-Kontingent.