Auf dieser Seite sind die Dataproc API-Kontingentlimits aufgeführt, die auf Projekt- und Regionsebene erzwungen werden. Die Kontingente werden alle 60 Sekunden zurückgesetzt.
Informationen zu Strategien zur Clusteroptimierung, mit denen Probleme mit Kontingenten und Ressourcenverfügbarkeit vermieden werden können, finden Sie unter Strategien für Ressourcenverfügbarkeit und Zonen.
In der folgenden Tabelle werden bestimmte und standardmäßige Dataproc API-Kontingenttypen und Kontingentlimits auf Projektebene aufgelistet sowie die Methoden, für die sie gelten.
| Kontingenttyp | Limit | Betroffene API-Methoden |
|---|---|---|
| AutoscalingOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy, DeleteAutoscalingPolicy |
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster, RepairCluster |
| NodeGroupOperationRequestsPerMinutePerProjectPerRegion | 600 | CreateNodeGroup, DeleteNodeGroup, ResizeNodeGroup, RepairNodeGroup, UpdateLabelsNodeGroup, StartNodeGroup, StopNodeGroup |
| GetJobRequestsPerMinutePerProjectPerRegion | 7.500 | getJob |
| JobOperationRequestsPerMinutePerProjectPerRegion | 400 | SubmitJob, UpdateJob, CancelJob, DeleteJob |
| WorkflowOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate, DeleteWorkflowTemplate |
| DefaultRequestsPerMinutePerProjectPerRegion | 7.500 | Alle anderen Vorgänge, vor allem Get-Vorgänge |
In der folgenden Tabelle sind zusätzliche Limits für die Gesamtzahl aktiver Vorgänge und Jobs auf Projekt- und Regionsebene aufgeführt.
| Kontingenttyp | Limit | Beschreibung |
|---|---|---|
| ActiveOperationsPerProjectPerRegion | 5.000 | Beschränkung der Gesamtzahl gleichzeitiger aktiver Vorgänge aller Typen in einem einzelnen Projekt in einer einzelnen regionalen Datenbank |
| ActiveJobsPerProjectPerRegion | 5.000 | Limit für die Gesamtzahl der aktiven Jobs im Status NON_TERMINAL in einem einzelnen Projekt in einer einzelnen regionalen Datenbank |
Weitere Google Cloud Kontingente
Dataproc-Cluster verwenden andere Google Cloud -Produkte. Für diese gelten Kontingente auf Projektebene, von denen einige auch die Nutzung von Dataproc betreffen. Einige Dienste sind für die Verwendung von Dataproc erforderlich, z. B. Compute Engine und Cloud Storage. Andere Dienste wie BigQuery und Bigtable können optional Dataproc verwenden.
Erforderliche Clusterdienste
Die folgenden Dienste mit Kontingentlimits sind zum Erstellen von Dataproc-Clustern erforderlich.
Compute Engine
Dataproc-Cluster verwenden virtuelle Compute Engine-Maschinen. Die Compute Engine-Kontingente sind in regionale und globale Limits unterteilt. Diese Limits gelten für die von Ihnen erstellten Cluster. Wenn Sie beispielsweise einen Cluster mit einem n1-standard-4-Knoten vom Typ -m und zwei n1-standard-4-Knoten vom Typ -w erstellen, verwenden Sie 12 virtuelle CPUs (4 * 3). Diese Cluster-Nutzung wird auf das regionale Kontingentlimit von 24 virtuellen CPUs angerechnet.
Standardclusterressourcen
Beim Erstellen eines Dataproc-Clusters mit den Standardeinstellungen werden die folgenden Compute Engine-Ressourcen verwendet:
| Ressource | Nutzung |
|---|---|
| Virtuelle CPUs | 12 |
| VM-Instanzen | 3 |
| Nichtflüchtiger Speicher | 1.500 GB |
Cloud Logging
Dataproc speichert die Treiberausgabe und die Cluster-Logs in Cloud Logging. Das Logging-Kontingent gilt für Dataproc-Cluster.
Optionale Clusterdienste
Die folgenden Dienste mit Kontingentlimits können optional mit Dataproc-Clustern verwendet werden.
BigQuery
Beim Lesen oder Schreiben von Daten in BigQuery gelten die BigQuery-Kontingente.
Bigtable
Beim Lesen oder Schreiben von Daten in Bigtable gilt das Bigtable-Kontingent.
Ressourcenverfügbarkeit und Zonenstrategien
Um Cluster für die Ressourcenverfügbarkeit zu optimieren und potenzielle Fehler aufgrund von Ausverkäufen zu vermeiden, sollten Sie die folgenden Strategien in Betracht ziehen:
Automatische Zonenplatzierung:Verwenden Sie beim Erstellen von Clustern die automatische Zonenplatzierung. So kann Dataproc eine optimale Zone innerhalb der angegebenen Region auswählen, was die Wahrscheinlichkeit einer erfolgreichen Clustererstellung erhöht.
Regionale Kontingente:Prüfen Sie, ob Ihre regionalen Compute Engine-Kontingente ausreichen, da Kontingente auch bei automatischer Zonenzuweisung erschöpft sein können, wenn die gesamte regionale Kapazität für Ihre Anfragen nicht ausreicht.
Flexibilität beim Maschinentyp:Wenn Sie bei einem bestimmten Maschinentyp immer wieder Engpässe haben, verwenden Sie für Ihren Cluster einen anderen, leichter verfügbaren Maschinentyp.