Dataproc Serverless ha limiti di quota API che vengono applicati a livello di progetto e di regione. Le quote vengono reimpostate ogni 60 secondi (un minuto).
Nella tabella seguente sono elencati i valori specifici e predefiniti per progetto Tipi di quota dell'API Dataproc Serverless, limiti di quota e a cui si applicano.
| Tipo di quota | Limite | Metodi o descrizione delle API |
|---|---|---|
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CancelOperation (l'annullamento della quota per le operazioni batch viene condiviso con l'annullamento della quota di operazioni del cluster). |
| BatchOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateBatch, DeleteBatch |
| SessionOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateSession, DeleteSession, TerminateSession |
| DefaultRequestsPerMinutePerProjectPerRegion | 7500 | GetBatch, ListBatches, GetSession, ListSessions |
| ActiveOperationsPerProjectPerRegion | 5000 | Limite al numero totale di operazioni attive simultanee di tutti i tipi in un progetto in una regione. |
Altre quote di Google Cloud
I batch Dataproc serverless utilizzano altri prodotti Google Cloud. Questi prodotti hanno quote a livello di progetto, che includono quote applicabili a Dataproc Serverless per gli utilizzi odierni. Alcuni servizi sono necessari per utilizzare Dataproc Serverless, ad esempio Compute Engine e Cloud Storage. Altri servizi, come BigQuery e Bigtable, può essere utilizzato facoltativamente con Dataproc Serverless.
Servizi obbligatori
I seguenti servizi, che applicano limiti di quota, sono necessari per creare Batch Dataproc serverless.
Compute Engine
I batch serverless Dataproc consumano quanto segue: Quote delle risorse di Compute Engine:
| Livello Compute | Quota |
|---|---|
| Standard | CPUS |
| Premium | N2_CPUS |
| Livello disco | Quota |
| Standard | DISKS_TOTAL_GB |
| Premium | LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY con famiglia di VM N2 |
| Acceleratore GPU | Quota |
| L4 | NVIDIA_L4_GPUS |
| A100 40GB | NVIDIA_A100_GPUS |
| A100 80GB | NVIDIA_A100_80GB_GPUS |
Le quote di Compute Engine sono suddivise in limiti globali
e a livello di area geografica. Questi limiti si applicano ai batch che
creare. Ad esempio, per eseguire un batch Spark con 4 core driver
(spark.driver.cores=4) e due esecutori con 4 core ciascuno (spark.executor.cores=4),
utilizzerai 12 CPU virtuali (4 * 3).
Questo utilizzo batch verrà conteggiato ai fini del limite di quota regionale di 24 CPU virtuali.
Risorse batch predefinite
Quando crei un batch con le impostazioni predefinite, in cui vengono utilizzate le seguenti risorse:
| Elemento | Risorse utilizzate |
|---|---|
| CPU virtuali | 12 |
| Istanze di macchine virtuali (VM) | 3 |
| Disco permanente | 3000 GB |
Cloud Logging
Dataproc Serverless salva l'output batch e i log Cloud Logging. La Quota di Cloud Logging si applica ai batch Dataproc serverless.
Servizi facoltativi
I seguenti servizi, che hanno limiti di quota, possono essere utilizzati facoltativamente con Batch Dataproc serverless.
BigQuery
Durante la lettura o la scrittura di dati in BigQuery, Si applica la quota di BigQuery.
Bigtable
Durante la lettura o la scrittura di dati in Bigtable, Si applica la quota Bigtable.