Quotas et limites

Ce document liste les quotas et limites système qui s'appliquent à Cloud Composer.

  • Les quotas spécifient la quantité d'une ressource partagée dénombrable que vous pouvez utiliser. Les quotas sont définis par des Google Cloud services tels que Cloud Composer.
  • Les limites système sont des valeurs fixes qui ne peuvent pas être modifiées.

Google Cloud utilise des quotas pour garantir l'équité et réduire les pics d'utilisation et de disponibilité des ressources. Un quota limite la quantité de ressourcesGoogle Cloud que votre Google Cloud projet peut utiliser. Les quotas s'appliquent à différents types de ressources, y compris les composants matériels, logiciels et réseau. Par exemple, les quotas peuvent limiter le nombre d'appels d'API à un service, le nombre d'équilibreurs de charge utilisés simultanément par votre projet ou le nombre de projets que vous pouvez créer. Les quotas protègent la communauté des utilisateurs deGoogle Cloud en empêchant la surcharge des services. Les quotas vous aident également à gérer vos propres Google Cloud ressources.

Le système Cloud Quotas effectue les opérations suivantes :

  • Surveille votre consommation de Google Cloud produits et services
  • Limite votre consommation de ces ressources
  • Permet de demander des modifications de la valeur du quota

Dans la plupart des cas, lorsque vous tentez d'utiliser plus d'une ressource que son quota ne le permet, le système bloque l'accès à la ressource et la tâche que vous essayez d'effectuer échoue.

Les quotas s'appliquent généralement au niveau du projet Google Cloud. Votre utilisation d'une ressource dans un projet n'affecte pas votre quota disponible dans un autre projet. Dans un projet Google Cloud, les quotas sont partagés entre toutes les applications et adresses IP.

Vous allez utiliser la console Google Cloud pour ajuster la plupart des quotas. Pour en savoir plus, consultez la section Demander un ajustement de quota.

Des limites système s'appliquent également aux ressources Cloud Composer. Les limites système ne peuvent pas être modifiées.

Quotas Cloud Composer

Les quotas de cette section ne s'appliquent qu'à l'API Cloud Composer et aux outils qui l'utilisent:

  • Interface Cloud Composer dans la console Google Cloud
  • Commandes gcloud composer et gcloud beta composer
  • API REST Cloud Composer
  • API RPC Cloud Composer
  • Terraform, pour les opérations avec les environnements Cloud Composer

Les quotas de cette section ne s'appliquent à aucun service que vous utilisez dans vos DAG Airflow. Ces services utilisent leurs propres quotas.

Les quotas d'API suivants s'appliquent à Cloud Composer:

Nom du quota Limite
Requêtes de lecture par projet 1 000 unités de quota par minute
Requêtes d'écriture par projet 25 000 unités de quota par jour
Requêtes d'écriture par projet 1 500 unités de quota par minute
Enregistrer les requêtes d'instantané par projet 5 000 unités de quota par jour
Enregistrer les requêtes d'instantané par projet 250 unités de quota par minute
Enregistrer les requêtes d'instantanés par projet et par environnement 2 600 unités de quota par jour
Requêtes de chargement d'instantanés par projet 2 500 unités de quota par jour
Requêtes de chargement d'instantanés par projet Quota de 150 par minute
Requêtes d'instantanés de chargement par projet et par environnement 700 unités de quota par jour

Les appels d'API Cloud Composer ont les coûts suivants, en unités de quota:

Opération Coût en unités de quota Type de demande
Toutes les opérations 1 Lire
environments.create 100 Écriture
environments.patch 100 Écriture
environments.delete 100 Écriture
environments.databaseFailover 100 Écriture
environments.restartWebServer 100 Écriture
environments.checkUpgrade 100 Écriture
environments.executeAirflowCommand 25 Écriture
environments.stopAirflowCommand 25 Écriture
environments.saveSnapshot 50 Enregistrer l'instantané
environments.loadSnapshot 50 Charger un instantané

Exemples de calcul de quota

  • Une requête environments.create consomme 100 unités de quota des quotas Écriture.

    Il existe deux quotas de ce type pour les requêtes d'écriture:

    • Requêtes d'écriture par projet et par jour
    • Requêtes d'écriture par projet et par minute

    Cette opération consomme 100 unités de quota de chaque quota.

    Si vous exécutez ensuite une requête environments.restartWebServer, 100 unités de quota supplémentaires sont consommées à partir des mêmes quotas, car environments.restartWebServer partage des quotas avec la requête environments.create.

  • Une requête environments.saveSnapshot consomme 50 unités de quota provenant de trois quotas:

    • Nombre de requêtes d'enregistrement d'instantanés par projet et par jour
    • Requêtes d'enregistrement d'instantanés par projet et par minute
    • Enregistrer les demandes d'instantanés par projet et par environnement par jour

    Ces trois quotas limitent le nombre maximal de requêtes environments.saveSnapshot. Chacun le fait différemment.

    La limite de quota pour les requêtes d'enregistrement d'instantanés par projet et par jour est de 2 500 unités de quota. Vous pouvez exécuter jusqu'à 50 requêtes environments.saveSnapshot dans votre projet chaque jour.

    La limite de quota pour les requêtes d'enregistrement d'instantanés par projet et par minute est de 150 unités de quota. En une minute, vous ne pouvez exécuter que trois requêtes environments.saveSnapshot dans votre projet.

    Enfin, la limite de quota pour les requêtes d'enregistrement d'instantanés par projet et par environnement par jour est de 750 unités de quota. Vous pouvez exécuter jusqu'à 15 requêtes environments.saveSnapshot par jour pour un seul environnement. Si toutes les unités de quota sont consommées pour un environnement spécifique, vous pouvez toujours exécuter des requêtes environments.saveSnapshot pour d'autres environnements de votre projet.

Quotas pour d'autres services

Cloud Composer utilise d'autres Google Cloud services. Ces services ont des quotas au niveau du projet, qui s'appliquent lorsque vous utilisez Cloud Composer.

Par exemple, les quotas Cloud Storage s'appliquent à tous les buckets associés aux environnements de votre projet. Par exemple, les clusters de l'environnement utilisent Google Kubernetes Engine. Les quotas pour GKE s'appliquent donc à tous les clusters associés aux environnements de votre projet.

Quotas pour les services utilisés par Cloud Composer

Cloud Composer utilise les services suivants. Ces services sont soumis à leurs propres limites de quota:

Quotas pour les services facultatifs

Vous pouvez utiliser des opérateurs Airflow avec les services Google Cloud . Tout service que vous utilisez dans un DAG est soumis aux quotas de ce service.