Ce document répertorie les quotas et les limites qui s'appliquent à Cloud Composer. Pour en savoir plus sur les quotas, consultez la page Quotas du cloud privé virtuel.
Un quota limite la quantité d'une ressource Google Cloud partagée particulière que votre projet Google Cloud peut utiliser, y compris les composants matériels, logiciels et réseau. Par conséquent, les quotas font partie d'un système qui effectue les opérations suivantes :
- Surveille votre utilisation ou votre consommation des produits et services Google Cloud
- Limite la consommation de ces ressources pour des raisons telles que l'équité et la réduction des pics d'utilisation.
- Gère des configurations qui appliquent automatiquement des restrictions recommandées.
- Fournit un moyen de demander ou d'effectuer des modifications de quota.
Dans la plupart des cas, lorsqu'un quota est dépassé, le système bloque immédiatement l'accès à la ressource Google concernée et la tâche que vous essayez d'effectuer échoue. Dans la plupart des cas, les quotas s'appliquent à chaque projet Google Cloud. Ils sont partagés entre toutes les applications et adresses IP qui utilisent ce projet.
Pour demander une augmentation ou une diminution de la plupart des quotas, vous pouvez utiliser Google Cloud Console. Pour en savoir plus, consultez Demander une augmentation de quota.
Des limites s'appliquent également aux ressources Cloud Composer. Ces limites ne sont pas liées au système de quotas. Sauf indication contraire, les limites ne peuvent pas être modifiées.
Quotas Cloud Composer
Les quotas de cette section ne s'appliquent qu'à l'API Cloud Composer et aux outils qui l'utilisent:
- Interface Cloud Composer dans la console Google Cloud
- Commandes
gcloud composer
etgcloud beta composer
- API REST Cloud Composer
- API RPC Cloud Composer
- Terraform, pour les opérations avec des environnements Cloud Composer
Les quotas de cette section ne s'appliquent pas aux services que vous utilisez dans vos DAG Airflow. Ces services utilisent leurs propres quotas.
Les quotas d'API de Cloud Composer sont les suivants:
Nom du quota | Limite |
---|---|
Requêtes de lecture par projet | 1 000 unités de quota par minute |
Requêtes d'écriture par projet | 25 000 unités de quota par jour |
Requêtes d'écriture par projet | 1 500 unités de quota par minute |
Requêtes d'enregistrement d'instantanés par projet | 5 000 unités de quota par jour |
Requêtes d'enregistrement d'instantanés par projet | 250 unités de quota par minute |
Requêtes d'enregistrement d'instantanés par projet et par environnement | 2 600 unités de quota par jour |
Requêtes de charge d'instantanés par projet | 2 500 unités de quota par jour |
Requêtes de charge d'instantanés par projet | 150 quota par minute |
Les requêtes d'instantanés de charge par projet et par environnement | 700 unités de quota par jour |
Les appels d'API Cloud Composer entraînent les coûts suivants, en unités de quota:
Opération | Coût en unités de quota | Type de demande |
---|---|---|
Toutes les opérations | 1 | Read |
environments.create | 100 | Écriture |
environments.patch | 100 | Écriture |
environments.delete | 100 | Écriture |
environments.databaseFailover | 100 | Écriture |
environments.restartWebServer | 100 | Écriture |
environments.checkUpgrade | 100 | Écriture |
environments.executeAirflowCommand | 25 | Écriture |
environments.stopAirflowCommand | 25 | Écriture |
environments.saveSnapshot | 50 | Enregistrer l'instantané |
environments.loadSnapshot | 50 | Charger l'instantané |
Exemples de calcul de quotas
Une requête
environments.create
consomme 100 unités de quota des quotas d'écriture.Il existe deux quotas pour les requêtes d'écriture:
- Requêtes d'écriture par projet et par jour
- Requêtes d'écriture par projet et par minute
Cette opération consomme 100 unités de quota pour chaque quota.
Si vous exécutez une requête
environments.restartWebServer
par la suite, 100 unités de quota supplémentaires sont consommées pour les mêmes quotas, carenvironments.restartWebServer
partage les quotas avec la requêteenvironments.create
.Une requête
environments.saveSnapshot
consomme 50 unités de quota réparties sur trois quotas:- Requêtes d'enregistrement d'instantanés par projet et par jour
- Requêtes d'enregistrement d'instantanés par projet et par minute
- Enregistrement des requêtes d'instantanés par projet, par environnement et par jour
Ces trois quotas limitent le nombre maximal de requêtes
environments.saveSnapshot
. Chacun le fait d'une manière différente.La limite de quota pour l'enregistrement des requêtes d'instantanés par projet et par jour est de 2 500 unités de quota. Vous pouvez exécuter jusqu'à 50 requêtes
environments.saveSnapshot
par jour dans votre projet.La limite de quota pour l'enregistrement des requêtes d'instantanés par projet et par minute est de 150 unités de quota. En une minute, vous ne pouvez exécuter que trois requêtes
environments.saveSnapshot
au maximum dans votre projet.Enfin, la limite de quota Enregistrer les requêtes d'instantanés par projet, par environnement et par jour est de 750 unités de quota. Vous pouvez exécuter jusqu'à 15 requêtes
environments.saveSnapshot
par jour pour un même environnement. Si toutes les unités de quota sont consommées pour un environnement spécifique, vous pouvez toujours exécuter des requêtesenvironments.saveSnapshot
pour d'autres environnements de votre projet.
Quotas pour les autres services
Cloud Composer utilise d'autres services Google Cloud. Ces services ont des quotas qui s'appliquent au niveau des projets lorsque vous utilisez Cloud Composer.
Par exemple, les quotas pour Cloud Storage s'appliquent à tous les buckets associés aux environnements de votre projet. Comme autre exemple, les clusters de l'environnement utilisent Google Kubernetes Engine. Les quotas pour GKE s'appliquent donc à tous les clusters associés aux environnements de votre projet.
Quotas pour les services utilisés par Cloud Composer
Cloud Composer utilise les services suivants. Ces services ont leurs propres limites de quota:
- Quotas Cloud Deployment Manager
- Quotas Google Kubernetes Engine
- Quotas Compute Engine
- Quotas Cloud Storage
- Quotas Pub/Sub
- Quotas Cloud Logging
- Quotas Cloud Monitoring
- Quotas Cloud Build (s'appliquent aux environnements qui utilisent des packages PyPI personnalisés)
- Quotas d'Artifact Registry
- Quotas Identity and Access Management
- Quotas de cloud privé virtuel (ne s'appliquent pas aux environnements qui utilisent Private Service Connect)
- Quotas Resource Manager
- Quotas applicables à l'Annuaire des services
Quotas pour les services facultatifs
Vous pouvez utiliser des opérateurs Airflow avec les services Google Cloud. Tout service que vous utilisez dans un DAG est soumis aux quotas de ce service.