Quote di Dataproc Serverless

In Dataproc Serverless esistono limiti di quota dell'API applicati a livello di progetto e di regione. Le quote vengono reimpostate ogni 60 secondi (un minuto).

Gestione degli errori di quota di Dataproc Serverless: se superi un limite di quota di Dataproc Serverless, viene generato un errore RESOURCE_EXHAUSTED (codice HTTP 429) e la richiesta API Dataproc Serverless corrispondente non andrà a buon fine. Tuttavia, poiché la quota Dataproc Serverless del progetto viene aggiornata ogni 60 secondi, puoi ritentare la richiesta una volta trascorso un minuto dall'errore.

Nella tabella seguente sono elencati i tipi di quote a livello di progetto specifici e predefiniti dell'API Dataproc Serverless, i relativi limiti di quota e i metodi a cui vengono applicati.

Tipo di quota	Limite	Metodi o descrizione dell'API
ClusterOperationRequestsPerMinutePerProjectPerRegion	200	CancelOperation (la quota di annullamento dell'operazione batch è condivisa con la quota di annullamento dell'operazione cluster).
BatchOperationRequestsPerMinutePerProjectPerRegion	200	CreateBatch, DeleteBatch
SessionOperationRequestsPerMinutePerProjectPerRegion	200	CreateSession, DeleteSession, TerminateSession
DefaultRequestsPerMinutePerProjectPerRegion	7500	GetBatch, ListBatches, GetSession, ListSessions
ActiveOperationsPerProjectPerRegion	5000	Limite al numero totale di operazioni attive simultanee di tutti i tipi in un progetto in una regione.

Aumento dei limiti di quota delle risorse: apri la pagina Quote IAM e amministrazione di Google Cloud e seleziona le risorse che vuoi modificare. Fai quindi clic su Modifica quote nella parte superiore della pagina per avviare la procedura di aumento delle quote. Se le risorse che stai cercando di aumentare non sono visualizzate nella pagina e il filtro corrente è "Quote con utilizzo", imposta il filtro su "Tutte le quote" nel menu a discesa "Tipo di quota".

Altre quote di Google Cloud

I batch Dataproc Serverless utilizzano altri prodotti Google Cloud. Questi prodotti hanno quote a livello di progetto che includono le quote applicabili all'utilizzo di Dataproc Serverless. Per l'utilizzo di Dataproc Serverless è necessario utilizzare alcuni servizi, come ad esempio Compute Engine e Cloud Storage. Altri servizi, come BigQuery e Bigtable, possono essere utilizzati facoltativamente con Dataproc Serverless.

Servizi obbligatori

I seguenti servizi, che applicano limiti di quota, sono necessari per creare batch Dataproc Serverless.

Compute Engine

I batch Dataproc Serverless consumano le seguenti quote per risorse Compute Engine:

Livello di calcolo	Quota
Standard	CPUS
Premium	N2_CPUS
Livello disco	Quota
Standard	DISKS_TOTAL_GB
Premium	LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY con la famiglia di VM N2
Acceleratore GPU	Quota
L4	NVIDIA_L4_GPUS
A100 40 GB	NVIDIA_A100_GPUS
A100 80 GB	NVIDIA_A100_80GB_GPUS

Le quote di Compute Engine sono suddivise in limiti globali e a livello di area geografica. Questi limiti si applicano ai batch creati. Ad esempio, per eseguire un batch Spark con 4 core del driver (spark.driver.cores=4) e due executor con 4 core ciascuno (spark.executor.cores=4), dovrai utilizzare 12 CPU virtuali (4 * 3). L'utilizzo di questo batch verrà conteggiato nel limite di quota a livello di area geografica di 24 CPU virtuali.

Quote per la prova gratuita: se utilizzi la versione di prova gratuita di Compute Engine, il tuo progetto avrà un limite di 8 CPU. Per aumentare questo limite, devi abilitare la fatturazione nel progetto.

Risorse batch predefinite

Quando crei un batch con impostazioni predefinite, vengono utilizzate le seguenti risorse di Compute Engine:

Elemento	Risorse utilizzate
CPU virtuali	12
Istanze di macchine virtuali (VM)	3
Disco permanente	1200 GiB

Cloud Logging

Dataproc Serverless salva l'output batch e i log in Cloud Logging. La quota di Cloud Logging si applica ai batch di Dataproc Serverless.

Servizi facoltativi

I seguenti servizi, che hanno limiti di quota, possono essere utilizzati in maniera facoltativa con i batch Dataproc Serverless.

BigQuery

Durante la lettura o la scrittura di dati in BigQuery, si applica la quota di BigQuery.

Bigtable

Durante la lettura o la scrittura di dati in Bigtable, si applica la quota di Bigtable.