Für Dataproc Serverless gelten API-Kontingentlimits auf Projekt- und Regionsebene. Die Kontingente werden alle 60 Sekunden zurückgesetzt.
In der folgenden Tabelle sind die spezifischen und standardmäßigen projektspezifischen Dataproc Serverless API-Kontingenttypen und Kontingentlimits sowie die Methoden aufgeführt, für die sie gelten.
Kontingenttyp | Limit | Betroffene API-Methoden |
---|---|---|
ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | DeleteOperation (Das Beenden des Batchvorgangskontingents wird gemeinsam mit dem Abbruch des Kontingents für Clustervorgänge geteilt). |
BatchOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateBatch, DeleteBatch |
SessionOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateSession, DeleteSession, TerminateSession |
DefaultRequestsPerMinutePerProjectPerRegion | 7.500 | GetBatch, ListBatches, GetSession, ListSessions |
Weitere Google Cloud-Kontingente
Serverlose Dataproc-Batches nutzen andere Google Cloud-Produkte. Für diese Produkte gelten Kontingente auf Projektebene, die auch Kontingente für die serverlose Nutzung von Dataproc umfassen. Einige Dienste sind für die Verwendung von Dataproc Serverless erforderlich, z. B. Compute Engine und Cloud Storage. Andere Dienste wie BigQuery und Bigtable können optional mit Dataproc Serverless verwendet werden.
Erforderliche Dienste
Die folgenden Dienste, die Kontingentlimits erzwingen, sind zum Erstellen von Dataproc Serverless-Batches erforderlich.
Compute Engine
Serverlose Dataproc-Batches verbrauchen die folgenden Compute Engine-Ressourcenkontingente:
Computing-Stufe | Kontingent |
---|---|
Standard | CPUS |
Premium-Support | N2_CPUS |
Laufwerksstufe | Kontingent |
Standard | DISKS_TOTAL_GB |
Premium-Support | LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY mit N2-VM-Familie |
GPU-Beschleuniger | Kontingent |
L4 | NVIDIA_L4_GPUS |
A100 40GB | NVIDIA_A100_GPUS |
A100 80GB | NVIDIA_A100_80GB_GPUS |
Die Compute Engine-Kontingente sind in regionale und globale Limits unterteilt. Diese Limits gelten für von Ihnen erstellte Batches. Um beispielsweise einen Spark-Batch mit 4 Treiberkernen (spark.driver.cores=4
) und zwei Executors mit jeweils 4 Kernen (spark.executor.cores=4
) auszuführen, verwenden Sie 12 virtuelle CPUs (4 * 3
). Diese Batch-Nutzung wird auf das regionale Kontingentlimit von 24 virtuellen CPUs angerechnet.
Standard-Batchressourcen
Wenn Sie einen Batch mit Standardeinstellungen erstellen, werden die folgenden Compute Engine-Ressourcen verwendet:
Posten | Verwendete Ressourcen |
---|---|
Virtuelle CPUs | 12 |
VM-Instanzen | 3 |
Nichtflüchtiger Speicher | 3.000 GB |
Cloud Logging
Dataproc Serverless speichert Batchausgabe und Logs in Cloud Logging. Das Cloud Logging-Kontingent gilt für Ihre Dataproc Serverless-Batches.
Optionale Dienste
Die folgenden Dienste mit Kontingentlimits können optional mit Dataproc Serverless-Batches verwendet werden.
BigQuery
Beim Lesen oder Schreiben von Daten in BigQuery gilt das BigQuery-Kontingent.
Bigtable
Beim Lesen oder Schreiben von Daten in Bigtable gilt das Bigtable-Kontingent.