Dataproc sans serveur intègre des limites de quota d'API qui sont appliquées au niveau de chaque projet et de chaque région. Les quotas sont réinitialisés toutes les soixante secondes (chaque minute).
Le tableau suivant présente les types de quotas d'API Dataproc sans serveur par défaut ou spécifiques appliqués à chaque projet, ainsi que les limites de ces quotas et les méthodes auxquelles ils s'appliquent.
| Type de quota | Limite | Méthodes ou description de l'API |
|---|---|---|
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CancelOperation (le quota d'annulation des opérations par lot est partagé avec le quota d'annulation des opérations de cluster). |
| BatchOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateBatch, DeleteBatch |
| SessionOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateSession, DeleteSession, TerminateSession |
| DefaultRequestsPerMinutePerProjectPerRegion | 7 500 | GetBatch, ListBatches, GetSession, ListSessions |
| ActiveOperationsPerProjectPerRegion | 5000 | Limite du nombre total d'opérations actives simultanées de tous types dans un projet dans une région. |
Autres quotas Google Cloud
Les lots Dataproc sans serveur utilisent d'autres produits Google Cloud. Ces produits ont des quotas qui s'appliquent au niveau de chaque projet, y compris des quotas associés à l'utilisation de Dataproc sans serveur. Certains services, tels que Compute Engine et Cloud Storage, sont requis pour utiliser Dataproc sans serveur. Pour d'autres, comme BigQuery et Bigtable, l'utilisation de Dataproc sans serveur est facultative.
Services requis
Les services suivants, qui font appliquer des limites de quota, sont requis pour créer des lots Dataproc sans serveur.
Compute Engine
Les lots Dataproc sans serveur consomment les quotas de ressources Compute Engine suivants:
| Niveau de calcul | Quota |
|---|---|
| Standard | CPUS |
| Premium | N2_CPUS |
| Niveau de disque | Quota |
| Standard | DISKS_TOTAL_GB |
| Premium | LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY avec la famille de VM N2 |
| Accélérateur GPU | Quota |
| L4 | NVIDIA_L4_GPUS |
| A100 40 Go | NVIDIA_A100_GPUS |
| A100 80 Go | NVIDIA_A100_80GB_GPUS |
Les quotas Compute Engine sont divisés en quotas régionaux ou mondiaux, et les limites de ces quotas s'appliquent aux lots que vous créez. Par exemple, pour exécuter un lot Spark avec quatre cœurs de pilote (spark.driver.cores=4) et deux exécuteurs de 4 cœurs chacun (spark.executor.cores=4), vous utiliserez 12 processeurs virtuels (4 * 3). Cette utilisation de lot sera déduite de votre limite de quota régionale de 24 processeurs virtuels.
Ressources par défaut pour les lots
Lorsque vous créez un lot avec les paramètres par défaut, les ressources Compute Engine suivantes sont utilisées:
| Élément | Ressources utilisées |
|---|---|
| Processeurs virtuels | 12 |
| Instances de machines virtuelles (VM) | 3 |
| Disque persistant | 1 200 Gio |
Cloud Logging
Dataproc sans serveur enregistre les résultats et les journaux de traitement par lot dans Cloud Logging. Le quota Cloud Logging s'applique à vos lots Dataproc sans serveur.
Services optionnels
Les services suivants, soumis à des limites de quota, peuvent être utilisés en option avec les lots Dataproc sans serveur.
BigQuery
Lorsque vous lisez ou écrivez des données dans BigQuery, le quota BigQuery s'applique.
Bigtable
Lorsque vous lisez ou écrivez des données dans Bigtable, le quota Bigtable s'applique.