Cette page répertorie les limites de quota de l'API Dataproc, qui sont appliquées au niveau du projet et de la région. Les quotas sont réinitialisés toutes les soixante secondes (une minute).
Le tableau suivant présente les types de quotas d'API Dataproc par défaut ou spécifiques appliqués à chaque projet, ainsi que les limites de ces quotas et les méthodes auxquelles ils s'appliquent.
| Type de quota | Limite | Méthodes API applicables |
|---|---|---|
| AutoscalingOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateAutoscalingPolicy, GetAutoscalingPolicy, ListAutoscalingPolicies, UpdateAutoscalingPolicy, DeleteAutoscalingPolicy |
| ClusterOperationRequestsPerMinutePerProjectPerRegion | 200 | CreateCluster, DeleteCluster, UpdateCluster, StopCluster, StartCluster, DiagnoseCluster, RepairCluster |
| NodeGroupOperationRequestsPerMinutePerProjectPerRegion | 600 | CreateNodeGroup, DeleteNodeGroup, ResizeNodeGroup, RepairNodeGroup, UpdateLibellésNodeGroup, StartNodeGroup, StopNodeGroup |
| GetJobRequestsPerMinutePerProjectPerRegion | 7 500 | GetJob |
| JobOperationRequestsPerMinutePerProjectPerRegion | 400 | SubmitJob, UpdateJob, CancelJob, DeleteJob |
| WorkflowOperationRequestsPerMinutePerProjectPerRegion | 400 | CreateWorkflowTemplate, InstantiateWorkflowTemplate, InstantiateInlineWorkflowTemplate, UpdateWorkflowTemplate, DeleteWorkflowTemplate |
| DefaultRequestsPerMinutePerProjectPerRegion | 7 500 | Toutes les autres opérations (principalement des opérations Get) |
Le tableau suivant présente les limites supplémentaires applicables au nombre total d'opérations et de jobs actifs au niveau du projet et de la région.
| Type de quota | Limite | Description |
|---|---|---|
| ActiveOperationsPerProjectPerRegion | 5000 | Limite du nombre total d'opérations actives simultanées de tous types dans un même projet dans une seule base de données régionale |
| ActiveJobsPerProjectPerRegion | 5000 | Limite du nombre total de jobs actifs à l'état NON_TERMINAL dans un seul projet dans une seule base de données régionale |
Autres quotas Google Cloud
Les clusters Dataproc utilisent d'autres produits Google Cloud. Ces produits ont des quotas qui s'appliquent au niveau de chaque projet, y compris des quotas associés à l'utilisation de Dataproc. Certains services, tels que Compute Engine et Cloud Storage, sont requis pour l'utilisation de Dataproc. Pour d'autres, comme BigQuery et Bigtable, l'utilisation de Dataproc est optionnelle.
Services requis
Les services suivants, qui font appliquer des limites de quota, sont automatiquement utilisés ou requis pour créer des clusters Dataproc.
Compute Engine
Les clusters Dataproc utilisent des machines virtuelles Compute Engine.
Les quotas Compute Engine sont divisés en quotas régionaux ou mondiaux, et les limites de ces quotas s'appliquent aux clusters que vous créez. Par exemple, pour créer un cluster comportant un nœud maître n1-standard-4 et deux nœuds de calcul n1-standard-4, vous utiliserez 12 processeurs virtuels (4 * 3). Cette utilisation de clusters sera déduite de votre limite de quota régionale de 24 processeurs virtuels.
Clusters par défaut
Lorsque vous créez un cluster Dataproc en utilisant les paramètres par défaut, les ressources Compute Engine suivantes sont utilisées.
| Élément | Ressources utilisées |
|---|---|
| Processeurs virtuels | 12 |
| Instances de machines virtuelles (VM) | 3 |
| Disque persistant | 1 500 Go |
Cloud Logging
Dataproc enregistre les résultats fournis par les pilotes et les journaux de clusters dans Cloud Logging. Le quota Cloud Logging s'applique à vos clusters Dataproc.
Services en option
Les services suivants, soumis à des limites de quota, peuvent être utilisés en option avec les clusters Dataproc.
BigQuery
Lorsque vous lisez ou écrivez des données dans BigQuery, le quota BigQuery s'applique.
Bigtable
Lorsque vous lisez ou écrivez des données dans Bigtable, le quota Bigtable s'applique.