Ce document répertorie les quotas et les limites système qui s'appliquent à Cloud Composer. Les quotas spécifient la quantité d'une ressource partagée dénombrable que vous pouvez utiliser. Ils sont définis par des services Google Cloud tels que Cloud Composer. Les limites du système sont des valeurs fixes qui ne peuvent pas être modifiées.
Google Cloud utilise des quotas pour garantir l'équité et réduire les pics d'utilisation et de disponibilité des ressources. Un quota limite la quantité de ressources Google Cloud que votre projet Google Cloud peut utiliser. Les quotas s'appliquent à différents types de ressources, y compris les composants matériels, logiciels et réseau. Par exemple, les quotas peuvent limiter le nombre d'appels d'API à un service, le nombre d'équilibreurs de charge utilisés simultanément par votre projet ou le nombre de projets que vous pouvez créer. Les quotas protègent la communauté des utilisateurs de Google Cloud en empêchant la surcharge des services. Les quotas vous aident également à gérer vos propres ressources Google Cloud.
Le système Cloud Quotas effectue les opérations suivantes :
- Surveille votre consommation de produits et services Google Cloud
- Limite votre consommation de ces ressources
- Permet de demander des modifications de la valeur du quota
Dans la plupart des cas, lorsque vous tentez d'utiliser plus d'une ressource que son quota ne le permet, le système bloque l'accès à la ressource et la tâche que vous essayez d'effectuer échoue.
Les quotas s'appliquent généralement au niveau du projet Google Cloud. Votre utilisation d'une ressource dans un projet n'affecte pas votre quota disponible dans un autre projet. Dans un projet Google Cloud, les quotas sont partagés entre toutes les applications et adresses IP.
Pour ajuster la plupart des quotas, utilisez la console Google Cloud. Pour en savoir plus, consultez Demandez un quota plus élevé.
Des limites du système s'appliquent également aux ressources Cloud Composer. Ces limites système ne sont pas liées au système de quotas. Sauf indication contraire, les limites du système ne peuvent pas être modifiées.
Quotas Cloud Composer
Les quotas de cette section ne s'appliquent qu'à l'API Cloud Composer et des outils qui utilisent l'API Cloud Composer:
- Interface Cloud Composer dans la console Google Cloud
- Commandes
gcloud composer
etgcloud beta composer
- API REST Cloud Composer
- API RPC Cloud Composer
- Terraform, pour les opérations avec des environnements Cloud Composer
Les quotas de cette section ne s'appliquent pas aux services que vous utilisez dans votre DAG Airflow. Ces services utilisent leurs propres quotas.
Les quotas d'API de Cloud Composer sont les suivants:
Nom du quota | Limite |
---|---|
Requêtes de lecture par projet | 1 000 unités de quota par minute |
Requêtes d'écriture par projet | 25 000 unités de quota par jour |
Requêtes d'écriture par projet | 1 500 unités de quota par minute |
Requêtes d'enregistrement d'instantanés par projet | 5 000 unités de quota par jour |
Requêtes d'enregistrement d'instantanés par projet | 250 unités de quota par minute |
Enregistrer les requêtes d'instantanés par projet et par environnement | 2 600 unités de quota par jour |
Requêtes de chargement d'instantanés par projet | 2 500 unités de quota par jour |
Requêtes de charge d'instantanés par projet | 150 quota par minute |
Requêtes de charge d'instantanés par projet par environnement | 700 unités de quota par jour |
Les appels d'API Cloud Composer ont les coûts suivants, en unités de quota :
Operation | Coût en unités de quota | Type de demande |
---|---|---|
Toutes les opérations | 1 | Lire |
environments.create | 100 | Écriture |
environments.patch | 100 | Écriture |
environments.delete | 100 | Écriture |
environments.databaseFailover | 100 | Écriture |
environments.restartWebServer | 100 | Écriture |
environments.checkUpgrade | 100 | Écriture |
environments.executeAirflowCommand | 25 | Écriture |
environments.stopAirflowCommand | 25 | Écriture |
environments.saveSnapshot | 50 | Enregistrer l'instantané |
environments.loadSnapshot | 50 | Charger l'instantané |
Exemples de calcul de quota
Une requête
environments.create
consomme 100 unités de quota du Quotas d'écritureIl existe deux quotas pour les requêtes d'écriture:
- Requêtes d'écriture par projet et par jour
- Requêtes d'écriture par projet et par minute
Cette opération consomme 100 unités de quota pour chaque quota.
Si vous exécutez une
environments.restartWebServer
par la suite, 100 unités de quota supplémentaires sont consommées les quotas, carenvironments.restartWebServer
les partage avecenvironments.create
.Une requête
environments.saveSnapshot
consomme 50 unités de quota sur trois quotas :- Nombre de requêtes d'enregistrement d'instantanés par projet et par jour
- Requêtes d'enregistrement d'instantanés par projet et par minute
- Enregistrer les demandes d'instantanés par projet et par environnement par jour
Ces trois quotas limitent le nombre maximal de
environments.saveSnapshot
requêtes. Chacun le fait d'une manière différente.La limite de quota pour les requêtes d'enregistrement d'instantanés par projet et par jour est de 2 500 unités de quota. Vous pouvez exécuter jusqu'à 50 requêtes
environments.saveSnapshot
dans votre projet chaque jour.La limite de quota pour l'enregistrement des requêtes d'instantanés par projet et par minute est de 150. unités de quota. En une minute, vous ne pouvez exécuter que trois requêtes
environments.saveSnapshot
dans votre projet.Enfin, l'option Enregistrer les requêtes d'instantané par projet, par environnement et par jour la limite de quota est de 750 unités de quota. Vous pouvez exécuter jusqu'à 15 requêtes
environments.saveSnapshot
par jour pour un seul environnement. Si toutes les unités de quota sont consommées pour un environnement spécifique, vous pouvez toujours exécuter des requêtesenvironments.saveSnapshot
pour d'autres environnements de votre projet.
Quotas pour d'autres services
Cloud Composer utilise d'autres services Google Cloud. Ces services ont des quotas au niveau du projet, qui s'appliquent lorsque vous utilisez Cloud Composer.
Par exemple, les quotas Cloud Storage s'appliquent à tous les buckets associés aux environnements de votre projet. Par exemple, les clusters de l'environnement utilisent Google Kubernetes Engine. Les quotas pour GKE s'appliquent donc à tous les clusters associés aux environnements de votre projet.
Quotas pour les services utilisés par Cloud Composer
Cloud Composer utilise les services suivants. Ces services sont soumis à leurs propres limites de quota :
- Quotas Cloud Deployment Manager
- Quotas Google Kubernetes Engine
- Quotas Compute Engine
- Quotas Cloud Storage
- Quotas Pub/Sub
- Quotas Cloud Logging
- Quotas Cloud Monitoring
- Les quotas Cloud Build (s'appliquent aux environnements qui utilisent packages PyPI personnalisés)
- Quotas d'Artifact Registry
- Quotas Identity and Access Management
- Les quotas de cloud privé virtuel (ne s'appliquent pas aux environnements utiliser Private Service Connect)
- Quotas Resource Manager
- Quotas applicables à l'Annuaire des services
Quotas pour les services facultatifs
Vous pouvez utiliser des opérateurs Airflow avec les services Google Cloud. Tout service que vous utilisez dans un DAG est soumis aux quotas de ce service.