Quote serverless di Dataproc

Dataproc Serverless ha limiti di quota API applicati a livello di progetto e di area geografica. Le quote vengono reimpostate ogni 60 secondi (un minuto).

La tabella seguente elenca i tipi di quota dell'API Serverless di Propro, a livello di progetto e predefinita, e i metodi a cui si applicano.

Tipo di quota Limite Metodi API applicabili
ClusterOperationRequestsPerMinutePerProjectPerRegion 200 CancelOperation (la quota di azione collettiva annullata viene condivisa con la quota di operazione del cluster di annullamento).
BatchOperationRequestsPerMinutePerProjectPerRegion 200 CreateBatch, EliminaBatch
DefaultRequestsPerMinutePerProjectPerRegion 7500 GetBatch, ListBatchs

Altre quote di Google Cloud

I batch serverless Dataproc utilizzano altri prodotti Google Cloud. Questi prodotti hanno quote a livello di progetto che includono le quote applicabili all'utilizzo di Dataproc Serverless. Alcuni servizi sono necessari per utilizzare Dataproc Serverless, ad esempio Compute Engine e Cloud Storage. Altri servizi, come BigQuery e Cloud Bigtable, possono essere utilizzati facoltativamente con Dataproc Serverless.

Servizi obbligatori

I seguenti servizi, che applicano limiti di quota, vengono utilizzati automaticamente (sono necessari) per creare batch serverless Dataproc.

Compute Engine

I batch serverless di Dataproc utilizzano le quote di Compute Engine CPUS e DISKS_TOTAL_GB. Le quote di Compute Engine sono suddivise in limiti a livello di area geografica e globale. Questi limiti si applicano ai batch che crei. Ad esempio, per eseguire un batch Spark con 4 core driver (spark.driver.cores=4) e due esecutori con 4 core ciascuno (spark.executor.cores=4), dovrai utilizzare 12 CPU virtuali (4 * 3). Questo batch verrà conteggiato a fronte del limite di quota regionale di 24 CPU virtuali.

Risorse batch predefinite

Quando crei un batch con impostazioni predefinite, vengono utilizzate le seguenti risorse Compute Engine:

Elemento Risorse utilizzate
CPU virtuali 12
Istanze di macchine virtuali (VM) 3
Persistent Disk 3000 GB

Cloud Logging

Dataproc Serverless salva l'output e i log batch in Cloud Logging. La quota di Cloud Logging si applica ai tuoi batch serverless Dataproc.

Servizi facoltativi

I seguenti servizi, con limiti di quota, possono essere utilizzati facoltativamente con batch serverless Dataproc.

BigQuery

Quando si leggono o scrivono dati in BigQuery, si applica la quota di BigQuery.

Bigtable

Quando si leggono o scrivono dati in Bigtable, si applica la quota di Bigtable.