Auf dieser Seite sind die Kontingentlimits der Dataproc API aufgeführt, die auf Projekt- und Regionsebene erzwungen werden. Die Kontingente werden alle 60 Sekunden (eine Minute) zurückgesetzt.
In der folgenden Tabelle werden bestimmte und standardmäßige Dataproc API-Kontingenttypen und Kontingentlimits auf Projektebene aufgelistet sowie die Methoden, für die sie gelten.
| Kontingenttyp | Limit | Betroffene API-Methoden |
|---|---|---|
| AutoscalingOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy, DeleteAutoscalingPolicy |
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster, RepairCluster, CreateNodeGroup, DeleteNodeGroup, ResizeNodeGroup |
| GetJobRequestsPerMinutePerProjectPerRegion | 7.500 | GetJob |
| JobOperationRequestsPerMinutePerProjectPerRegion | 400 | SubmitJob, UpdateJob, CancelJob, DeleteJob |
| WorkflowOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate, DeleteWorkflowTemplate |
| DefaultRequestsPerMinutePerProjectPerRegion | 7.500 | Alle anderen Vorgänge, vor allem Get-Vorgänge |
In der folgenden Tabelle sind zusätzliche Limits für die Gesamtzahl der aktiven Vorgänge und Jobs auf Projekt- und Regionsebene aufgeführt.
| Kontingenttyp | Limit | Beschreibung |
|---|---|---|
| ActiveOperationsPerProjectPerRegion | 5.000 | Begrenzung der Gesamtzahl gleichzeitig aktiver Vorgänge aller Typen in einem einzelnen Projekt in einer einzelnen regionalen Datenbank |
| ActiveJobsPerProjectPerRegion | 5.000 | Limit der Gesamtzahl aktiver Jobs mit dem Status NON_TERMINAL in einem einzelnen Projekt in einer einzelnen regionalen Datenbank |
Weitere Google Cloud-Kontingente
Dataproc-Cluster nutzen auch andere Google Cloud-Produkte. Für diese gelten Kontingente auf Projektebene, von denen einige auch die Nutzung von Dataproc betreffen. Einige Dienste sind für die Verwendung von Dataproc erforderlich, z. B. Compute Engine und Cloud Storage. Andere Dienste wie BigQuery und Bigtable können optional mit Dataproc verwendet werden.
Erforderliche Dienste
Die folgenden Dienste mit Kontingentlimits sind zum Erstellen von Dataproc-Clustern erforderlich und werden automatisch verwendet.
Compute Engine
Dataproc-Cluster nutzen virtuelle Compute Engine-Maschinen.
Die Compute Engine-Kontingente sind in regionale und globale Limits unterteilt. Diese Limits gelten für die von Ihnen erstellten Cluster. Sie verwenden beispielsweise 12 virtuelle CPUs (4 * 3), um einen Cluster mit einem n1-standard-4-Masterknoten und zwei n1-standard-4-Worker-Knoten zu erstellen. Diese Cluster-Nutzung wird anhand des regionalen Kontingentlimits von 24 virtuellen CPUs berechnet.
Standardcluster
Beim Erstellen eines Dataproc-Clusters mit den Standardeinstellungen werden die folgenden Compute Engine-Ressourcen verwendet:
| Posten | Verwendete Ressourcen |
|---|---|
| Virtuelle CPUs | 12 |
| VM-Instanzen | 3 |
| Nichtflüchtiger Speicher | 1.500 GB |
Cloud Logging
Dataproc speichert die Treiberausgabe und die Cluster-Logs in Cloud Logging. Die Cloud Logging-Kontingente gelten auch für Dataproc-Cluster.
Optionale Dienste
Die folgenden Dienste mit Kontingentlimits können optional mit Dataproc-Clustern verwendet werden.
BigQuery
Beim Lesen oder Schreiben von Daten in BigQuery gelten die BigQuery-Kontingente.
Bigtable
Beim Lesen oder Schreiben von Daten in Bigtable gelten die Bigtable-Kontingente.