Für Dataproc Serverless gelten API-Kontingentlimits auf Projekt- und Regionsebene. Die Kontingente werden alle 60 Sekunden zurückgesetzt.
In der folgenden Tabelle werden die speziellen und standardmäßigen Dataproc Serverless API-Kontingenttypen und Kontingentlimits auf Projektebene sowie die betroffenen Methoden aufgelistet.
| Kontingenttyp | Limit | API-Methoden oder -Beschreibung |
|---|---|---|
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CancelOperation (das Kontingent für das Abbrechen von Batchvorgängen wird mit dem Kontingent für das Abbrechen von Clustervorgängen geteilt) |
| BatchOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateBatch, DeleteBatch |
| SessionOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateSession, DeleteSession, TerminateSession |
| DefaultRequestsPerMinutePerProjectPerRegion | 7.500 | GetBatch, ListBatches, GetSession, ListSessions |
| ActiveOperationsPerProjectPerRegion | 5.000 | Begrenzung der Gesamtzahl gleichzeitiger aktiver Vorgänge aller Typen in einem Projekt in einer Region. |
Weitere Google Cloud-Kontingente
Dataproc Serverless-Batches nutzen auch andere Google Cloud-Produkte. Für diese gelten Kontingente auf Projektebene, von denen einige auch die Nutzung von serverlosem Dataproc betreffen. Einige Dienste sind für die Verwendung von Dataproc Serverless erforderlich, z. B. Compute Engine und Cloud Storage. Andere Dienste wie BigQuery und Bigtable können optional mit Dataproc Serverless verwendet werden.
Erforderliche Dienste
Die folgenden Dienste mit Kontingentlimits sind zum Erstellen von Dataproc Serverless-Batches erforderlich.
Compute Engine
Dataproc Serverless-Batches verbrauchen die folgenden Compute Engine-Ressourcenkontingente:
| Computing-Stufe | Kontingent |
|---|---|
| Standard | CPUS |
| Premium | N2_CPUS |
| Laufwerksstufe | Kontingent |
| Standard | DISKS_TOTAL_GB |
| Premium | LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY mit N2-VM-Familie |
| GPU-Beschleuniger | Kontingent |
| L4 | NVIDIA_L4_GPUS |
| A100 40GB | NVIDIA_A100_GPUS |
| A100 80GB | NVIDIA_A100_80GB_GPUS |
Die Compute Engine-Kontingente sind in regionale und globale Limits unterteilt. Diese Limits gelten für die von Ihnen erstellten Batches. Wenn Sie beispielsweise einen Spark-Batch mit 4 Treiberkernen (spark.driver.cores=4) und zwei Executors mit jeweils 4 Kernen (spark.executor.cores=4) ausführen, werden 12 virtuelle CPUs (4 * 3) verwendet. Diese Batch-Nutzung wird auf das regionale Kontingentlimit von 24 virtuellen CPUs angerechnet.
Standard-Batchressourcen
Beim Erstellen eines Tasks mit den Standardeinstellungen werden die folgenden Compute Engine-Ressourcen verwendet:
| Posten | Verwendete Ressourcen |
|---|---|
| Virtuelle CPUs | 12 |
| VM-Instanzen | 3 |
| nichtflüchtiger Speicher | 1.200 GiB |
Cloud Logging
Dataproc Serverless speichert die Batchausgabe und Logs in Cloud Logging. Das Cloud Logging-Kontingent gilt für Ihre Dataproc Serverless-Batches.
Optionale Dienste
Die folgenden Dienste mit Kontingentlimits können optional mit Dataproc-serverlosen Batches verwendet werden.
BigQuery
Beim Lesen oder Schreiben von Daten in BigQuery gelten die BigQuery-Kontingente.
Bigtable
Beim Lesen oder Schreiben von Daten in Bigtable gelten die Bigtable-Kontingente.