Dataproc sans serveur comporte des limites de quota d'API qui sont appliquées au niveau du projet et de la région. Les quotas sont réinitialisés toutes les soixante secondes (chaque minute).
Le tableau suivant répertorie les types de quotas d'API Dataproc sans serveur spécifiques ou par défaut pour chaque projet, ainsi que les limites de quota et les méthodes auxquelles ils s'appliquent.
| Type de quota | Limite | Méthodes ou description de l'API |
|---|---|---|
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | Annuler l'opération (le quota d'opérations par lot est partagé avec le quota d'opérations de cluster d'annulation). |
| BatchOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateBatch et DeleteBatch |
| SessionOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateSession, DeleteSession et TerminateSession |
| DefaultRequestsPerMinutePerProjectPerRegion | 7 500 | GetBatch, ListBatches, GetSession et ListSessions |
| ActiveOperationsPerProjectPerRegion | 5000 | Limite du nombre total d'opérations actives simultanées de tous types dans un projet d'une région. |
Autres quotas Google Cloud
Les lots Dataproc sans serveur utilisent d'autres produits Google Cloud. Ces produits ont des quotas qui s'appliquent au niveau de chaque projet, y compris des quotas qui s'appliquent à l'utilisation de Dataproc sans serveur. Certains services tels que Compute Engine et Cloud Storage sont obligatoires pour utiliser Dataproc sans serveur. D'autres services, tels que BigQuery et Bigtable, peuvent éventuellement être utilisés avec Dataproc sans serveur.
Services requis
Les services suivants, qui font appliquer des limites de quota, sont nécessaires pour créer des lots Dataproc sans serveur.
Compute Engine
Les lots Dataproc sans serveur utilisent les quotas de ressources Compute Engine suivants:
| Niveau de calcul | Quota |
|---|---|
| Standard | CPUS |
| Premium | N2_CPUS |
| Niveau de disque | Quota |
| Standard | DISKS_TOTAL_GB |
| Premium | LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY avec la famille de VM N2 |
| Accélérateur GPU | Quota |
| L4 | NVIDIA_L4_GPUS |
| A100 40 Go | NVIDIA_A100_GPUS |
| A100 80 Go | NVIDIA_A100_80GB_GPUS |
Les quotas Compute Engine sont divisés en quotas régionaux ou mondiaux, Ces limites s'appliquent aux lots que vous créez. Par exemple, pour exécuter un lot Spark avec quatre cœurs de pilote (spark.driver.cores=4) et deux exécuteurs de 4 cœurs chacun (spark.executor.cores=4), vous devez utiliser 12 processeurs virtuels (4 * 3). Cette utilisation par lot sera comptabilisée dans la limite de quota régionale de 24 processeurs virtuels.
Ressources par défaut par lot
Lorsque vous créez un lot avec des paramètres par défaut, les ressources Compute Engine suivantes sont utilisées:
| Élément | Ressources utilisées |
|---|---|
| Processeurs virtuels | 12 |
| Instances de machines virtuelles (VM) | 3 |
| Disque persistant | 3 000 Go |
Cloud Logging
Dataproc sans serveur enregistre la sortie par lot et les journaux dans Cloud Logging. Les quotas Cloud Logging s'appliquent aux lots sans serveur Dataproc.
Services optionnels
Les services suivants, qui ont des limites de quota, peuvent éventuellement être utilisés avec des lots Dataproc sans serveur.
BigQuery
Lorsque vous lisez ou écrivez des données dans BigQuery, les quotas BigQuery s'appliquent.
Bigtable
Lors de la lecture ou de l'écriture de données dans Bigtable, les quotas Bigtable s'appliquent.