Scaling de l'environnement

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Cette page décrit le fonctionnement du scaling de l'environnement dans Cloud Composer 2.

Autres pages sur le scaling :

Autoscaling des environnements

Les environnements Cloud Composer 2 évoluent automatiquement en fonction des exigences de vos DAG et tâches exécutés:

  • Si votre environnement est soumis à une charge importante, Cloud Composer augmente automatiquement le nombre de nœuds de calcul dans votre environnement.
  • Si votre environnement n'utilise pas certains de ses nœuds de calcul, ceux-ci sont supprimés afin d'économiser les ressources et les coûts de l'environnement.
  • Vous pouvez définir le nombre minimal et maximal de nœuds de calcul pour votre environnement. Cloud Composer effectue un scaling automatique de votre environnement dans les limites définies. Vous pouvez ajuster ces limites à tout moment.

Le nombre de nœuds de calcul est ajusté en fonction de la métrique Facteur de scaling cible. Cette métrique est calculée en fonction des éléments suivants :

  • Nombre actuel de nœuds de calcul
  • Nombre de tâches Celery dans la file d'attente Celery qui ne sont pas attribuées à un nœud de calcul
  • Nombre de nœuds de calcul inactifs
  • Option de configuration Airflow celery.worker_concurrency

L'autoscaling Cloud Composer utilise trois autoscalers différents fournis par GKE :

Cloud Composer configure ces autoscalers dans le cluster de l'environnement. Cela permet d'adapter automatiquement le nombre de nœuds du cluster, le type de machine et le nombre de nœuds de calcul.

Paramètres d'évolutivité et de performances

Outre l'autoscaling, vous pouvez contrôler les paramètres d'évolutivité et de performances de votre environnement en ajustant les limites de processeur, de mémoire et de disque des programmeurs, du serveur Web et des nœuds de calcul. Vous pouvez ainsi faire évoluer votre environnement verticalement, en plus du scaling horizontal fourni par la fonctionnalité d'autoscaling. Vous pouvez ajuster les paramètres d'évolutivité et de performances des programmeurs, du serveur Web et des nœuds de calcul Airflow à tout moment.

Le paramètre de performances taille de l'environnement de votre environnement contrôle les paramètres de performances de l'infrastructure Cloud Composer gérée qui inclut la base de données Airflow. Envisagez de choisir un environnement plus vaste si vous souhaitez exécuter un grand nombre de DAG et de tâches les performances de l'infrastructure. Par exemple, la taille d'un environnement plus important augmente le nombre d'entrées de journal de tâche Airflow que votre environnement peut traiter avec un délai minimal.

Programmeurs multiples

Airflow 2 peut utiliser plusieurs programmeurs Airflow simultanément. Cette fonctionnalité Airflow est également appelée planificateur de haute disponibilité. Dans Cloud Composer 2, vous pouvez définir le nombre de programmeurs pour votre environnement et l'ajuster à tout moment. Cloud Composer n'effectue pas le scaling automatique du nombre de programmeurs dans votre environnement.

Pour plus d'informations sur la configuration du nombre de programmeurs pour votre environnement, consultez la section Faire évoluer les environnements.

Espace disque de la base de données

L'espace disque de la base de données Airflow augmente automatiquement pour répondre à la demande.

Étape suivante