Dataproc sans serveur présente des limites de quota d'API qui sont appliquées au niveau du projet et de la région. Les quotas sont réinitialisés toutes les soixante secondes (chaque minute).
Le tableau suivant répertorie les types de quotas de l'API Dataproc sans serveur par défaut et spécifiques par projet, les limites de quotas et les méthodes auxquelles ils s'appliquent.
| Type de quota | Limite | Méthodes API applicables |
|---|---|---|
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | AnnulerOperation (l'annulation du quota d'opérations par lot est partagée avec l'annulation du quota d'opérations de cluster) |
| BatchOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateBatch, DeleteBatch |
| SessionOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateSession, DeleteSession, TerminateSession |
| DefaultRequestsPerMinutePerProjectPerRegion | 7 500 | GetBatch, ListBatches, GetSession et ListSessions. |
Autres quotas Google Cloud
Les lots Dataproc sans serveur utilisent d'autres produits Google Cloud. Ces produits ont des quotas qui s'appliquent au niveau de chaque projet, y compris des quotas associés à l'utilisation de Dataproc sans serveur. Certains services, tels que Compute Engine et Cloud Storage, sont obligatoires pour utiliser Dataproc sans serveur. D'autres services, tels que BigQuery et Bigtable, peuvent être utilisés en option avec Dataproc sans serveur.
Services requis
Les services suivants, qui font appliquer des limites de quota, sont requis pour créer des lots Dataproc sans serveur.
Compute Engine
Les lots Dataproc sans serveur consomment les quotas de ressources Compute Engine suivants:
| Niveau de calcul | Quota |
|---|---|
| Standard | CPUS |
| Premium | N2_CPUS |
| Niveau de disque | Quota |
| Standard | DISKS_TOTAL_GB |
| Premium | LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY avec la famille de VM N2 |
| Accélérateur GPU | Quota |
| L4 | NVIDIA_L4_GPUS |
| A100 40 Go | NVIDIA_A100_GPUS |
| A100 80 Go | NVIDIA_A100_80GB_GPUS |
Les quotas Compute Engine sont divisés en quotas régionaux ou mondiaux, Ces limites s'appliquent aux lots que vous créez. Par exemple, pour exécuter un lot Spark avec 4 cœurs de pilote (spark.driver.cores=4) et deux exécuteurs de 4 cœurs chacun (spark.executor.cores=4), vous utiliserez 12 processeurs virtuels (4 * 3). Cette utilisation par lot sera comptabilisée dans la limite de quota régionale de 24 processeurs virtuels.
Ressources par lot par défaut
Lorsque vous créez un lot avec les paramètres par défaut, les ressources Compute Engine suivantes sont utilisées:
| Élément | Ressources utilisées |
|---|---|
| Processeurs virtuels | 12 |
| Instances de machines virtuelles (VM) | 3 |
| Disque persistant | 3 000 Go |
Cloud Logging
Dataproc sans serveur enregistre la sortie par lot et les journaux dans Cloud Logging. Les quotas Cloud Logging s'appliquent à vos lots Dataproc sans serveur.
Services optionnels
Les services suivants, qui sont soumis à des limites de quota, peuvent éventuellement être utilisés avec des lots Dataproc sans serveur.
BigQuery
Lorsque vous lisez ou écrivez des données dans BigQuery, les quotas BigQuery s'appliquent.
Bigtable
Lorsque vous lisez ou écrivez des données dans Bigtable, les quotas Bigtable s'appliquent.