Für Dataproc Serverless gelten API-Kontingentlimits auf Projekt- und Regionsebene. Die Kontingente werden alle 60 Sekunden zurückgesetzt.
In der folgenden Tabelle sind die spezifischen und Standardwerte pro Projekt aufgeführt. Kontingenttypen, Kontingentlimits der Dataproc Serverless API und auf die sie angewendet werden.
Kontingenttyp | Limit | API-Methoden oder -Beschreibung |
---|---|---|
ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CancelOperation (Das Abbrechen des Batchvorgangskontingents wird mit dem Abbrechen des Clustervorgangskontingents geteilt.) |
BatchOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateBatch, DeleteBatch |
SessionOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateSession, DeleteSession, TerminateSession |
DefaultRequestsPerMinutePerProjectPerRegion | 7.500 | GetBatch, ListBatches, GetSession, ListSessions |
ActiveOperationsPerProjectPerRegion | 5.000 | Begrenzung der Gesamtzahl gleichzeitig aktiver Vorgänge aller Typen in einem Projekt in einer Region. |
Weitere Google Cloud-Kontingente
In Dataproc Serverless-Batches werden andere Google Cloud-Produkte verwendet. Diese Produkte haben Kontingente auf Projektebene, einschließlich Kontingente, die für Dataproc Serverless gelten verwenden. Einige Dienste sind für die Verwendung von Dataproc Serverless erforderlich. wie Compute Engine und Cloud Storage. Andere Dienste wie BigQuery und Bigtable, kann optional mit Dataproc Serverless verwendet werden.
Erforderliche Dienste
Die folgenden Dienste, die Kontingentlimits erzwingen, sind zum Erstellen Serverlose Dataproc-Batches.
Compute Engine
Serverlose Dataproc-Batches verbrauchen Folgendes: Compute Engine-Ressourcenkontingente:
Compute-Stufe | Kontingent |
---|---|
Standard | CPUS |
Premium | N2_CPUS |
Laufwerksstufe | Kontingent |
Standard | DISKS_TOTAL_GB |
Premium | LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY mit N2-VM-Familie |
GPU-Beschleuniger | Kontingent |
L4 | NVIDIA_L4_GPUS |
A100 40GB | NVIDIA_A100_GPUS |
A100 80GB | NVIDIA_A100_80GB_GPUS |
Die Compute Engine-Kontingente sind in regionale und globale Limits unterteilt. Diese Limits gelten für Batches,
erstellen. Sie können beispielsweise einen Spark-Batch mit vier Treiberkernen ausführen.
(spark.driver.cores=4
) und zwei Executors mit jeweils 4 Kernen (spark.executor.cores=4
),
verwenden Sie 12 virtuelle CPUs (4 * 3
).
Diese Batchnutzung wird auf das regionale Kontingentlimit von 24 virtuellen CPUs angerechnet.
Standard-Batchressourcen
Wenn Sie einen Batch mit Standardeinstellungen erstellen, Ressourcen verwendet werden:
Posten | Verwendete Ressourcen |
---|---|
Virtuelle CPUs | 12 |
VM-Instanzen | 3 |
nichtflüchtiger Speicher | 3.000 GB |
Cloud Logging
Dataproc Serverless speichert Batchausgabe und protokolliert Cloud Logging: Die Cloud Logging-Kontingent für Ihre serverlosen Dataproc-Batches gilt.
Optionale Dienste
Die folgenden Dienste mit Kontingentlimits können optional mit Serverlose Dataproc-Batches.
BigQuery
Beim Lesen oder Schreiben von Daten in BigQuery Dabei gelten BigQuery-Kontingente.
Bigtable
Beim Lesen oder Schreiben von Daten in Bigtable gilt das Bigtable-Kontingent.