Quote di Dataproc

In Dataproc esistono limiti di quota dell'API applicati a livello di progetto e di area geografica. Le quote vengono reimpostate ogni 60 secondi (un minuto).

Nella tabella seguente sono elencati i tipi di quote a livello di progetto specifici e predefiniti dell'API Dataproc, i relativi limiti di quota e i metodi a cui vengono applicati.

Tipo di quota Limite Metodi API applicabili
AutoscalingOperationRequestsPerMinutePerProjectPerRegion 400 CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy, DeleteAutoscalingPolicy
ClusterOperationRequestsPerMinutePerProjectPerRegion 200 CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster
GetJobRequestsPerMinutePerProjectPerRegion 7500 GetJob
JobOperationRequestsPerMinutePerProjectPerRegion 400 SubmitJob, UpdateJob, CancelJob, DeleteJob
WorkflowOperationRequestsPerMinutePerProjectPerRegion 400 CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate, DeleteWorkflowTemplate
DefaultRequestsPerMinutePerProjectPerRegion 7500 Tutte le altre operazioni (principalmente operazioni Get)

Altre quote di Google Cloud

I cluster di Dataproc utilizzano altri prodotti Google Cloud. Questi prodotti hanno quote a livello di progetto che includono le quote applicabili all'utilizzo di Dataproc. Per l'utilizzo di Dataproc è necessario utilizzare alcuni servizi, come ad esempio Compute Engine e Cloud Storage. Altri servizi, come BigQuery e Cloud Bigtable, possono essere utilizzati facoltativamente con Dataproc.

Servizi richiesti

I seguenti servizi, che applicano limiti di quota, vengono utilizzati automaticamente (sono necessari) per creare cluster di Dataproc.

Compute Engine

I cluster di Dataproc utilizzano le macchine virtuali di Compute Engine. Le quote di Compute Engine sono suddivise in limiti globali e a livello di area geografica. Questi limiti si applicano ai cluster creati. Ad esempio, per creare un cluster con un nodo master n1-standard-4 e due nodi worker n1-standard-4, dovrai utilizzare 12 CPU virtuali (4 * 3). L'utilizzo di questo cluster verrà conteggiato nel limite di quota a livello di area geografica di 24 CPU virtuali.

Cluster predefiniti

Quando crei un cluster di Dataproc con impostazioni predefinite, vengono utilizzate le seguenti risorse di Compute Engine.

Elemento Risorse utilizzate
CPU virtuali 12
Istanze di macchine virtuali (VM) 3
Disco permanente 1500 GB

Cloud Logging

Dataproc salva l'output del driver e i log del cluster in Cloud Logging. La quota di Cloud Logging si applica ai tuoi cluster di Dataproc.

Servizi facoltativi

I seguenti servizi, che hanno limiti di quota, possono essere utilizzati in maniera facoltativa con i cluster di Dataproc.

BigQuery

Durante la lettura o la scrittura di dati in BigQuery, si applica la quota di BigQuery.

Bigtable

Durante la lettura o la scrittura di dati in Bigtable, si applica la quota di Bigtable.