Dans Dataproc sans serveur, les limites de quota des API sont appliquées au niveau du projet et de la région. Les quotas sont réinitialisés toutes les soixante secondes (chaque minute).
Le tableau suivant présente les types de quotas d'API Dataproc sans serveur par défaut ou spécifiques appliqués à chaque projet, ainsi que les limites de ces quotas et les méthodes auxquelles ils s'appliquent.
| Type de quota | Limite | Méthodes ou description de l'API |
|---|---|---|
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CancelOperation (le quota d'annulation des opérations par lot est partagé avec le quota d'annulation des opérations de cluster). |
| BatchOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateBatch, DeleteBatch |
| SessionOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateSession, DeleteSession et TerminateSession |
| DefaultRequestsPerMinutePerProjectPerRegion | 7 500 | GetBatch, ListBatches, GetSession, ListSessions |
| ActiveOperationsPerProjectPerRegion | 5000 | Limite du nombre total d'opérations actives simultanées de tous types dans un projet dans une région. |
Autres quotas Google Cloud
Les lots Dataproc sans serveur utilisent d'autres produits Google Cloud. Ces produits ont des quotas qui s'appliquent au niveau de chaque projet, y compris des quotas associés à l'utilisation de Dataproc sans serveur. Certains services, tels que Compute Engine et Cloud Storage, sont requis pour utiliser Dataproc sans serveur. Pour d'autres, comme BigQuery et Bigtable, l'utilisation de Dataproc sans serveur est facultative.
Services requis
Les services suivants, qui font appliquer des limites de quota, sont requis pour créer des lots Dataproc sans serveur.
Compute Engine
Les lots Dataproc sans serveur utilisent Quotas de ressources de Compute Engine:
| Niveau de calcul | Quota |
|---|---|
| Standard | CPUS |
| Premium | N2_CPUS |
| Niveau de disque | Quota |
| Standard | DISKS_TOTAL_GB |
| Premium | LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY avec la famille de VM N2 |
| Accélérateur GPU | Quota |
| L4 | NVIDIA_L4_GPUS |
| A100 40 Go | NVIDIA_A100_GPUS |
| A100 80 Go | NVIDIA_A100_80GB_GPUS |
Les quotas Compute Engine sont divisés en quotas régionaux ou mondiaux, Ces limites s'appliquent aux lots
créer. Par exemple, pour exécuter un lot Spark avec quatre cœurs de pilote (spark.driver.cores=4) et deux exécuteurs de 4 cœurs chacun (spark.executor.cores=4), vous utiliserez 12 processeurs virtuels (4 * 3). Cette utilisation de lot sera déduite de votre limite de quota régionale de 24 processeurs virtuels.
Ressources par défaut par lot
Lorsque vous créez un lot avec les paramètres par défaut, les instances Compute Engine suivantes ressources sont utilisées:
| Élément | Ressources utilisées |
|---|---|
| Processeurs virtuels | 12 |
| Instances de machines virtuelles (VM) | 3 |
| Disque persistant | 3 000 Go |
Cloud Logging
Dataproc sans serveur enregistre les résultats et les journaux de traitement par lot dans Cloud Logging. La Quota Cloud Logging s'applique à vos lots Dataproc sans serveur.
Services optionnels
Les services suivants, soumis à des limites de quota, peuvent éventuellement être utilisés avec Batch sans serveur Dataproc.
BigQuery
Lorsque vous lisez ou écrivez des données dans BigQuery, le quota BigQuery s'applique.
Bigtable
Lors de la lecture ou de l'écriture de données dans Bigtable, Un quota Bigtable s'applique.