Scaling de l'environnement

Cloud Composer 1 | Cloud Composer 2

Cette page décrit le fonctionnement du scaling de l'environnement dans Cloud Composer 2.

Pour en savoir plus sur le scaling de vos environnements, consultez la page Environnements de scaling.

Environnements d'autoscaling

Les environnements Cloud Composer 2 s'adaptent automatiquement aux besoins des DAG et tâches exécutés:

  • Si votre environnement subit une charge importante, Cloud Composer augmente automatiquement le nombre de nœuds de calcul dans votre environnement.
  • Si votre environnement n'utilise pas certains de ses nœuds de calcul, ils sont supprimés pour économiser les ressources et les coûts de l'environnement.
  • Vous pouvez définir le nombre minimal et maximal de nœuds de calcul pour votre environnement. Cloud Composer procède automatiquement au scaling de votre environnement selon les limites définies. Vous pouvez modifier ces limites à tout moment.

Le nombre de nœuds de calcul est ajusté en fonction de la métrique Scaling du facteur de scaling. Cette métrique est calculée en fonction des critères suivants:

  • Nombre actuel de nœuds de calcul
  • Nombre de tâches d'une file d'attente qui ne sont pas attribuées à un nœud de calcul
  • Nombre de nœuds de calcul inactifs
  • Option de configuration Airflow core.worker_concurrency

L'autoscaling Cloud Composer utilise trois autoscalers différents fournis par GKE:

Cloud Composer configure ces autoscalers dans le cluster de l'environnement. Cela permet d'adapter automatiquement le nombre de nœuds du cluster, le type de machine et le nombre de nœuds de calcul.

Paramètres d'évolutivité et de performances

Outre l'autoscaling, vous pouvez contrôler les paramètres d'évolutivité et de performances de votre environnement en ajustant les limites de processeur, de mémoire et de disque pour les programmeurs, le serveur Web et les nœuds de calcul. Ainsi, vous pouvez effectuer le scaling vertical de votre environnement en plus du scaling horizontal fourni par la fonctionnalité d'autoscaling. Vous pouvez ajuster les paramètres d'échelle et de performances des programmeurs Airflow, du serveur Web et des nœuds de calcul à tout moment.

Le paramètre de taille de l'environnement de votre environnement contrôle les paramètres de performances de l'infrastructure Cloud Composer gérée qui inclut la base de données Airflow. Envisagez de sélectionner une taille d'environnement plus grande si vous souhaitez exécuter un grand nombre de DAG et de tâches.



Planificateurs multiples

Airflow 2 peut utiliser plusieurs programmeurs Airflow en même temps. Cette fonctionnalité Airflow est également appelée planificateur de haute disponibilité. Dans Cloud Composer 2, vous pouvez définir le nombre de programmeurs pour votre environnement et l'ajuster à tout moment. Cloud Composer ne fait pas évoluer automatiquement le nombre de programmeurs dans votre environnement.

Pour en savoir plus sur la configuration du nombre de programmeurs pour votre environnement, consultez la section Environnements de scaling.

Espace disque de la base de données

L'espace disque de la base de données Airflow augmente automatiquement pour répondre à la demande.

Étape suivante