Dataproc Serverless ha limiti di quota API che vengono applicati a livello di progetto e di regione. Le quote vengono reimpostate ogni 60 secondi (un minuto).
Nella tabella seguente sono elencati i tipi di quote a livello di progetto specifici e predefiniti dell'API Dataproc Serverless, i relativi limiti di quota e i metodi a cui vengono applicati.
| Tipo di quota | Limite | Metodi o descrizione delle API |
|---|---|---|
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CancelOperation (l'annullamento della quota per le operazioni batch viene condiviso con l'annullamento della quota di operazioni del cluster). |
| BatchOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateBatch, DeleteBatch |
| SessionOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateSession, DeleteSession, TerminateSession |
| DefaultRequestsPerMinutePerProjectPerRegion | 7500 | GetBatch, ListBatches, GetSession, ListSessions |
| ActiveOperationsPerProjectPerRegion | 5000 | Limite al numero totale di operazioni attive simultanee di tutti i tipi in un progetto in una regione. |
Altre quote di Google Cloud
I batch Dataproc Serverless utilizzano altri prodotti Google Cloud. Questi prodotti hanno quote a livello di progetto, che includono quote applicabili a Dataproc Serverless per gli utilizzi odierni. Per l'utilizzo di Dataproc Serverless è necessario utilizzare alcuni servizi, come ad esempio Compute Engine e Cloud Storage. Altri servizi, come BigQuery e Bigtable, può essere utilizzato facoltativamente con Dataproc Serverless.
Servizi obbligatori
I seguenti servizi, che applicano limiti di quota, sono necessari per creare batch Dataproc Serverless.
Compute Engine
I batch Dataproc Serverless consumano le seguenti quote per risorse Compute Engine:
| Livello di calcolo | Quota |
|---|---|
| Standard | CPUS |
| Premium | N2_CPUS |
| Livello disco | Quota |
| Standard | DISKS_TOTAL_GB |
| Premium | LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY con famiglia di VM N2 |
| Acceleratore GPU | Quota |
| L4 | NVIDIA_L4_GPUS |
| A100 40GB | NVIDIA_A100_GPUS |
| A100 80GB | NVIDIA_A100_80GB_GPUS |
Le quote di Compute Engine sono suddivise in limiti globali
e a livello di area geografica. Questi limiti si applicano ai batch
creati. Ad esempio, per eseguire un batch Spark con 4 core del driver
(spark.driver.cores=4) e due executor con 4 core ciascuno (spark.executor.cores=4),
dovrai utilizzare 12 CPU virtuali (4 * 3).
L'utilizzo di questo batch verrà conteggiato nel limite di quota a livello di area geografica di 24 CPU virtuali.
Risorse batch predefinite
Quando crei un batch con impostazioni predefinite, vengono utilizzate le seguenti risorse di Compute Engine:
| Elemento | Risorse utilizzate |
|---|---|
| CPU virtuali | 12 |
| Istanze di macchine virtuali (VM) | 3 |
| Disco permanente | 3000 GB |
Cloud Logging
Dataproc Serverless salva l'output batch e i log in Cloud Logging. La Quota di Cloud Logging si applica ai batch Dataproc serverless.
Servizi facoltativi
I seguenti servizi, che hanno limiti di quota, possono essere utilizzati facoltativamente con Batch serverless di Dataproc.
BigQuery
Durante la lettura o la scrittura di dati in BigQuery, Si applica la quota di BigQuery.
Bigtable
Durante la lettura o la scrittura di dati in Bigtable, Si applica la quota Bigtable.