Dans Dataproc sans serveur, les limites de quota des API sont appliquées au niveau du projet et de la région. Les quotas sont réinitialisés toutes les soixante secondes (chaque minute).
Le tableau suivant présente les métriques par projet spécifiques et par défaut Types de quotas de l'API Dataproc sans serveur, limites de quota et méthodes auxquelles ils s'appliquent.
| Type de quota | Limite | Méthodes ou description de l'API |
|---|---|---|
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | Annuler l'opération (le quota d'opérations par lot est partagé avec le quota d'opérations de cluster d'annulation). |
| BatchOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateBatch et DeleteBatch |
| SessionOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateSession, DeleteSession et TerminateSession |
| DefaultRequestsPerMinutePerProjectPerRegion | 7 500 | GetBatch, ListBatches, GetSession et ListSessions |
| ActiveOperationsPerProjectPerRegion | 5000 | Limite du nombre total d'opérations actives simultanées de tous types dans un projet d'une région. |
Autres quotas Google Cloud
Les lots Dataproc sans serveur utilisent d'autres produits Google Cloud. Ces produits Vous avez des quotas au niveau du projet, y compris des quotas qui s'appliquent à Dataproc sans serveur utiliser. Certains services sont obligatoires pour utiliser Dataproc sans serveur. tels que Compute Engine et Cloud Storage. D'autres services, tels que BigQuery et Bigtable, peut éventuellement être utilisé avec Dataproc sans serveur.
Services requis
Les services suivants, qui font appliquer des limites de quota, sont nécessaires pour créer Lots sans serveur Dataproc.
Compute Engine
Les lots Dataproc sans serveur utilisent Quotas de ressources de Compute Engine:
| Niveau de calcul | Quota |
|---|---|
| Standard | CPUS |
| Premium | N2_CPUS |
| Niveau de disque | Quota |
| Standard | DISKS_TOTAL_GB |
| Premium | LOCAL_SSD_TOTAL_GB_PER_VM_FAMILY avec la famille de VM N2 |
| Accélérateur GPU | Quota |
| L4 | NVIDIA_L4_GPUS |
| A100 40 Go | NVIDIA_A100_GPUS |
| A100 80 Go | NVIDIA_A100_80GB_GPUS |
Les quotas Compute Engine sont divisés en quotas régionaux ou mondiaux, Ces limites s'appliquent aux lots
créer. Par exemple, pour exécuter un lot Spark avec quatre cœurs de pilote
(spark.driver.cores=4) et deux exécuteurs de 4 cœurs chacun (spark.executor.cores=4),
vous allez utiliser 12 processeurs virtuels (4 * 3).
Cette utilisation par lot sera comptabilisée dans la limite de quota régionale de 24 processeurs virtuels.
Ressources par défaut par lot
Lorsque vous créez un lot avec les paramètres par défaut, les instances Compute Engine suivantes ressources sont utilisées:
| Élément | Ressources utilisées |
|---|---|
| Processeurs virtuels | 12 |
| Instances de machines virtuelles (VM) | 3 |
| Disque persistant | 3 000 Go |
Cloud Logging
Dataproc sans serveur enregistre la sortie par lot et les journaux dans Cloud Logging : La Quota Cloud Logging s'applique à vos lots Dataproc sans serveur.
Services optionnels
Les services suivants, soumis à des limites de quota, peuvent éventuellement être utilisés avec Lots sans serveur Dataproc.
BigQuery
Lors de la lecture ou de l'écriture de données dans BigQuery, Un quota BigQuery s'applique.
Bigtable
Lors de la lecture ou de l'écriture de données dans Bigtable, Un quota Bigtable s'applique.