In questa pagina sono elencati i limiti di quota dell'API Dataproc, applicate a livello di progetto e regione. Le quote vengono reimpostate ogni sessanta secondi (un minuto).
Nella tabella seguente sono elencati i tipi di quote a livello di progetto specifici e predefiniti dell'API Dataproc, i relativi limiti di quota e i metodi a cui vengono applicati.
| Tipo di quota | Limite | Metodi API applicabili |
|---|---|---|
| AutoscalingOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy, DeleteAutoscalingPolicy |
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster, RepairCluster |
| NodeGroupOperationRequestsPerMinutePerProjectPerRegion | 600 | CreateNodeGroup, DeleteNodeGroup, RidimensionaNodeGroup, RepairNodeGroup, UpdateLabelNodeGroup, StartNodeGroup, StopNodeGroup |
| GetJobRequestsPerMinutePerProjectPerRegion | 7500 | GetJob |
| JobOperationRequestsPerMinutePerProjectPerRegion | 400 | SubmitJob, UpdateJob, CancelJob, DeleteJob |
| WorkflowOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate, DeleteWorkflowTemplate |
| DefaultRequestsPerMinutePerProjectPerRegion | 7500 | Tutte le altre operazioni (principalmente operazioni Get) |
La tabella seguente elenca i limiti aggiuntivi per il totale di operazioni e job attivi a livello di progetto e di regione.
| Tipo di quota | Limite | Descrizione |
|---|---|---|
| ActiveOperationsPerProjectPerRegion | 5000 | Limite al numero totale di operazioni attive simultanee di tutti i tipi in un singolo progetto in un singolo database a livello di regione |
| ActiveJobsPerProjectPerRegion | 5000 | Limite per il numero totale di job attivi nello stato NON_TERMINAL in un singolo progetto in un singolo database regionale |
Altre quote di Google Cloud
I cluster di Dataproc utilizzano altri prodotti Google Cloud. Questi prodotti hanno quote a livello di progetto che includono le quote applicabili all'utilizzo di Dataproc. Alcuni servizi sono necessari per l'utilizzo di Dataproc, ad esempio Compute Engine e Cloud Storage. Altri servizi, come BigQuery e Bigtable, possono essere utilizzati in via facoltativa con Dataproc.
Servizi obbligatori
I seguenti servizi, che applicano limiti di quota, vengono utilizzati automaticamente (sono necessari) per creare cluster di Dataproc.
Compute Engine
I cluster di Dataproc utilizzano le macchine virtuali di Compute Engine.
Le quote di Compute Engine sono suddivise in limiti globali
e a livello di area geografica. Questi limiti si applicano ai cluster
creati. Ad esempio, per creare un cluster con un nodo master n1-standard-4
e due nodi worker n1-standard-4, dovrai utilizzare 12 CPU virtuali (4 * 3).
L'utilizzo di questo cluster verrà conteggiato nel limite di quota a livello di area geografica di 24 CPU virtuali.
Cluster predefiniti
Quando crei un cluster di Dataproc con impostazioni predefinite, vengono utilizzate le seguenti risorse di Compute Engine.
| Elemento | Risorse utilizzate |
|---|---|
| CPU virtuali | 12 |
| Istanze di macchine virtuali (VM) | 3 |
| Disco permanente | 1500 GB |
Cloud Logging
Dataproc salva l'output del driver e i log del cluster in Cloud Logging. La quota di Cloud Logging si applica ai tuoi cluster di Dataproc.
Servizi facoltativi
I seguenti servizi, che hanno limiti di quota, possono essere utilizzati in maniera facoltativa con i cluster di Dataproc.
BigQuery
Durante la lettura o la scrittura di dati in BigQuery, si applica la quota di BigQuery.
Bigtable
Durante la lettura o la scrittura di dati in Bigtable, si applica la quota di Bigtable.