Quote di Dataproc Serverless

Dataproc Serverless ha limiti di quota API applicati a livello di progetto e regione. Le quote vengono reimpostate ogni 60 secondi (un minuto).

Gestione degli errori di quota serverless di Dataproc: se superi un limite di quota di Dataproc Serverless, viene generato un errore RESOURCE_EXHAUSTED (codice HTTP 429) e la richiesta dell'API Dataproc Serverless non andrà a buon fine. Tuttavia, poiché la quota Dataproc Serverless del progetto viene aggiornata ogni 60 secondi, puoi ritentare la richiesta una volta trascorso un minuto dall'errore.

La seguente tabella elenca i tipi di quota specifici e predefiniti per progetto dell'API Dataproc Serverless, i limiti di quota e i metodi a cui vengono applicati.

Tipo di quota	Limite	Descrizione o metodi API
ClusterOperationRequestsPerMinutePerProjectPerRegion	200	AnnullaOperation (l'annullamento della quota per le operazioni batch viene condiviso con l'annullamento della quota per le operazioni del cluster).
BatchOperationRequestsPerMinutePerProjectPerRegion	200	CreateBatch, DeleteBatch
SessionOperationRequestsPerMinutePerProjectPerRegion	200	CreateSession, DeleteSession, TerminateSession
DefaultRequestsPerMinutePerProjectPerRegion	7500	GetBatch, ListBatches, GetSession, ListSessions
ActiveOperationsPerProjectPerRegion	5000	Limite al numero totale di operazioni attive simultanee di tutti i tipi in un progetto in una regione.

Aumento dei limiti di quota delle risorse: apri la pagina Quote di IAM e amministrazione di Google Cloud e seleziona le risorse che vuoi modificare. Fai quindi clic su Modifica quote nella parte superiore della pagina per avviare la procedura di aumento delle quote. Se le risorse che stai cercando di aumentare non sono visualizzate nella pagina e il filtro corrente è "Quote con utilizzo", imposta il filtro su "Tutte le quote" nel menu a discesa "Tipo di quota".

Altre quote di Google Cloud

I batch Dataproc serverless utilizzano altri prodotti Google Cloud. Questi prodotti hanno quote a livello di progetto che includono quote applicabili all'utilizzo di Dataproc Serverless. Alcuni servizi sono obbligatori per l'utilizzo di Dataproc Serverless, ad esempio Compute Engine e Cloud Storage. Altri servizi, come BigQuery e Bigtable, possono essere utilizzati facoltativamente con Dataproc Serverless.

Servizi obbligatori

I seguenti servizi, che applicano limiti di quota, sono necessari per creare batch Dataproc serverless.

Compute Engine

I batch Dataproc Serverless utilizzano le seguenti quote delle risorse di Compute Engine:

Livello computing	Quota
Standard	CPUS
Premium	N2_CPUS
Livello disco	Quota
Standard	DISKS_TOTAL_GB
Premium	LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY con famiglia di VM N2
Acceleratore GPU	Quota
L4	NVIDIA_L4_GPUS
A100 40GB	NVIDIA_A100_GPUS
A100 80GB	NVIDIA_A100_80GB_GPUS

Le quote di Compute Engine sono suddivise in limiti globali e a livello di area geografica. Questi limiti si applicano ai batch che crei. Ad esempio, per eseguire un batch Spark con 4 core driver (spark.driver.cores=4) e due esecutori con 4 core ciascuno (spark.executor.cores=4), utilizzerai 12 CPU virtuali (4 * 3). Questo utilizzo batch verrà conteggiato nel limite di quota regionale di 24 CPU virtuali.

Quote per la prova gratuita: se utilizzi la versione di prova gratuita di Compute Engine, il tuo progetto avrà un limite di 8 CPU. Per aumentare questo limite, devi abilitare la fatturazione nel progetto.

Risorse batch predefinite

Quando crei un batch con impostazioni predefinite, vengono utilizzate le seguenti risorse di Compute Engine:

Elemento	Risorse utilizzate
CPU virtuali	12
Istanze di macchine virtuali (VM)	3
Disco permanente	3000 GB

Cloud Logging

Dataproc Serverless salva l'output e i log batch in Cloud Logging. La quota di Cloud Logging si applica ai tuoi batch Dataproc Serverless.

Servizi facoltativi

I seguenti servizi, che hanno limiti di quota, possono essere utilizzati facoltativamente con i batch Dataproc serverless.

BigQuery

Durante la lettura o la scrittura di dati in BigQuery, si applica la quota di BigQuery.

Bigtable

Durante la lettura o la scrittura di dati in Bigtable, si applica la quota di Bigtable.