Cloud Composer 1 est en mode post-maintenance. Google ne publie aucune autre mise à jour de Cloud Composer 1, y compris les nouvelles versions d'Airflow, les corrections de bugs et les mises à jour de sécurité. Nous vous recommandons de planifier la migration vers Cloud Composer 2.

Cette page a été traduite par l'API Cloud Translation.

À propos du scaling d'environnement

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Cette page décrit le fonctionnement du scaling de l'environnement dans Cloud Composer 2.

Autres pages sur le scaling :

Pour savoir comment sélectionner l'échelle et les paramètres de performances optimaux pour votre consultez l'article Optimiser les performances et les coûts de l'environnement.
Pour plus d'informations sur le scaling de vos environnements, consultez la section Faire évoluer les environnements.

Autoscaling des environnements

Les environnements Cloud Composer 2 évoluent automatiquement en fonction des exigences de vos DAG et tâches exécutés:

Si votre environnement est soumis à une charge importante, Cloud Composer augmente automatiquement le nombre de nœuds de calcul dans votre environnement.
Si votre environnement n'utilise pas certains de ses nœuds de calcul, ceux-ci sont supprimés afin d'économiser les ressources et les coûts de l'environnement.
Vous pouvez définir le nombre minimal et maximal de nœuds de calcul pour votre environnement. Cloud Composer effectue un scaling automatique de votre environnement dans les limites définies. Vous pouvez ajuster ces limites à tout moment.

Le nombre de nœuds de calcul est ajusté en fonction de la métrique Facteur de scaling cible. Cette métrique est calculée en fonction des éléments suivants :

Nombre actuel de nœuds de calcul
Nombre de tâches Celery dans la file d'attente Celery qui ne sont pas attribuées à un nœud de calcul
Nombre de nœuds de calcul inactifs
Option de configuration Airflow celery.worker_concurrency

L'autoscaling Cloud Composer utilise trois autoscalers différents fournis par GKE :

Cloud Composer configure ces autoscalers dans le cluster de l'environnement. Cela permet d'adapter automatiquement le nombre de nœuds du cluster, le type de machine et le nombre de nœuds de calcul.

Paramètres d'évolutivité et de performances

Outre l'autoscaling, vous pouvez contrôler les paramètres d'évolutivité et de performances de votre environnement en ajustant les limites de processeur, de mémoire et de disque des programmeurs, du serveur Web et des nœuds de calcul. Vous pouvez ainsi faire évoluer votre environnement verticalement, en plus du scaling horizontal fourni par la fonctionnalité d'autoscaling. Vous pouvez ajuster les paramètres d'évolutivité et de performances des programmeurs, du serveur Web et des nœuds de calcul Airflow à tout moment.

Le paramètre de performances taille de l'environnement de votre environnement contrôle les paramètres de performances de l'infrastructure Cloud Composer gérée qui inclut la base de données Airflow. Envisagez de choisir un environnement plus vaste si vous souhaitez exécuter un grand nombre de DAG et de tâches les performances de l'infrastructure. Par exemple, plus un environnement plus volumineux augmente la quantité d'entrées de journal des tâches Airflow que votre environnement peut traiter avec un délai minimal.

Programmeurs multiples

Airflow 2 peut utiliser plusieurs programmeurs Airflow simultanément. Cette fonctionnalité Airflow est également appelée planificateur de haute disponibilité. Dans Cloud Composer 2, vous pouvez définir le nombre de programmeurs pour votre environnement et l'ajuster à tout moment. Cloud Composer n'effectue pas le scaling automatique du nombre de programmeurs dans votre environnement.

Pour plus d'informations sur la configuration du nombre de programmeurs pour votre environnement, consultez la section Faire évoluer les environnements.

Espace disque de la base de données

L'espace disque de la base de données Airflow augmente automatiquement pour répondre à la demande.