Dataproc Serverless ha limiti di quota API che vengono applicati a livello di progetto e di regione. Le quote vengono reimpostate ogni 60 secondi (un minuto).
La tabella seguente elenca i tipi di quota specifici e predefiniti dell'API Dataproc Serverless per progetto, i limiti di quota e i metodi a cui si applicano.
| Tipo di quota | Limite | Metodi o descrizione delle API |
|---|---|---|
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CancelOperation (l'annullamento della quota per le operazioni batch viene condiviso con l'annullamento della quota di operazioni del cluster). |
| BatchOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateBatch, DeleteBatch |
| SessionOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateSession, DeleteSession, TerminateSession |
| DefaultRequestsPerMinutePerProjectPerRegion | 7500 | GetBatch, ListBatches, GetSession, ListSessions |
| ActiveOperationsPerProjectPerRegion | 5000 | Limite al numero totale di operazioni attive simultanee di tutti i tipi in un progetto in una regione. |
Altre quote di Google Cloud
I batch Dataproc serverless utilizzano altri prodotti Google Cloud. Questi prodotti hanno quote a livello di progetto che includono quote applicabili all'utilizzo di Dataproc Serverless. Alcuni servizi sono necessari per utilizzare Dataproc serverless, ad esempio Compute Engine e Cloud Storage. Altri servizi, come BigQuery e Bigtable, possono essere utilizzati facoltativamente con Dataproc Serverless.
Servizi obbligatori
Per creare batch di Dataproc Serverless, sono necessari i seguenti servizi, che applicano limiti di quota.
Compute Engine
I batch serverless di Dataproc consumano le seguenti quote delle risorse di Compute Engine:
| Livello Compute | Quota |
|---|---|
| Standard | CPUS |
| Premium | N2_CPUS |
| Livello disco | Quota |
| Standard | DISKS_TOTAL_GB |
| Premium | LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY con famiglia di VM N2 |
| Acceleratore GPU | Quota |
| L4 | NVIDIA_L4_GPUS |
| A100 40GB | NVIDIA_A100_GPUS |
| A100 80GB | NVIDIA_A100_80GB_GPUS |
Le quote di Compute Engine sono suddivise in limiti globali
e a livello di area geografica. Questi limiti si applicano ai batch creati. Ad esempio, per eseguire un batch Spark con 4 core driver
(spark.driver.cores=4) e due esecutori con 4 core ciascuno (spark.executor.cores=4),
utilizzerai 12 CPU virtuali (4 * 3).
Questo utilizzo batch verrà conteggiato ai fini del limite di quota regionale di 24 CPU virtuali.
Risorse batch predefinite
Quando crei un batch con impostazioni predefinite, vengono utilizzate le seguenti risorse di Compute Engine:
| Elemento | Risorse utilizzate |
|---|---|
| CPU virtuali | 12 |
| Istanze di macchine virtuali (VM) | 3 |
| Disco permanente | 3000 GB |
Cloud Logging
Dataproc Serverless salva l'output batch e i log in Cloud Logging. La quota di Cloud Logging si applica ai batch serverless di Dataproc.
Servizi facoltativi
I seguenti servizi, che hanno limiti di quota, possono essere utilizzati facoltativamente con i batch Dataproc Serverless.
BigQuery
Durante la lettura o la scrittura di dati in BigQuery, si applica la quota di BigQuery.
Bigtable
Durante la lettura o la scrittura di dati in Bigtable, si applica la quota di Bigtable.