Le 15 septembre 2026, tous les environnements Cloud Composer 1 et Cloud Composer 2 version 2.0.x atteindront leur fin de vie prévue et vous ne pourrez plus les utiliser. Nous vous recommandons de planifier la migration vers Cloud Composer 3.
Les environnements Cloud Composer 2 évoluent automatiquement en fonction des exigences de vos DAG et tâches exécutés:
Si votre environnement est soumis à une charge importante, Cloud Composer augmente automatiquement le nombre de nœuds de calcul dans votre environnement.
Si votre environnement n'utilise pas certains de ses nœuds de calcul, ceux-ci sont supprimés afin d'économiser les ressources et les coûts de l'environnement.
Vous pouvez définir le nombre minimal et maximal de nœuds de calcul pour votre environnement.
Cloud Composer effectue un scaling automatique de votre environnement dans les limites définies. Vous pouvez ajuster ces limites à tout moment.
Le nombre de nœuds de calcul est ajusté en fonction de la métrique Facteur de scaling cible. Cette métrique est calculée en fonction des éléments suivants :
Nombre actuel de nœuds de calcul
Nombre de tâches Celery dans la file d'attente Celery qui ne sont pas attribuées à un nœud de calcul
Nombre de nœuds de calcul inactifs
Option de configuration Airflow celery.worker_concurrency
L'autoscaling Cloud Composer utilise trois autoscalers différents fournis par GKE :
Cloud Composer configure ces autoscalers dans le cluster de l'environnement. Cela permet d'adapter automatiquement le nombre de nœuds du cluster, le type de machine et le nombre de nœuds de calcul.
Paramètres d'évolutivité et de performances
Outre l'autoscaling, vous pouvez contrôler les paramètres d'évolutivité et de performances de votre environnement en ajustant les limites de processeur, de mémoire et de disque des programmeurs, du serveur Web et des nœuds de calcul. Vous pouvez ainsi faire évoluer votre environnement verticalement, en plus du scaling horizontal fourni par la fonctionnalité d'autoscaling. Vous pouvez ajuster les paramètres d'évolutivité et de performances des programmeurs, du serveur Web et des nœuds de calcul Airflow à tout moment.
Le paramètre de performances taille de l'environnement de votre environnement contrôle les paramètres de performances de l'infrastructure Cloud Composer gérée qui inclut la base de données Airflow. Envisagez de sélectionner une plus grande taille d'environnement si vous souhaitez exécuter un grand nombre de DAG et de tâches avec des performances d'infrastructure plus élevées. Par exemple, la taille d'un environnement plus important augmente le nombre d'entrées de journal de tâche Airflow que votre environnement peut traiter avec un délai minimal.
Programmeurs multiples
Airflow 2 peut utiliser plusieurs programmeurs Airflow simultanément. Cette fonctionnalité Airflow est également appelée planificateur de haute disponibilité. Dans Cloud Composer 2, vous pouvez définir le nombre de programmeurs pour votre environnement et l'ajuster à tout moment. Cloud Composer n'effectue pas le scaling automatique du nombre de programmeurs dans votre environnement.
Pour plus d'informations sur la configuration du nombre de programmeurs pour votre environnement, consultez la section Faire évoluer les environnements.
Espace disque de la base de données
L'espace disque de la base de données Airflow augmente automatiquement pour répondre à la demande.
Sauf indication contraire, le contenu de cette page est régi par une licence Creative Commons Attribution 4.0, et les échantillons de code sont régis par une licence Apache 2.0. Pour en savoir plus, consultez les Règles du site Google Developers. Java est une marque déposée d'Oracle et/ou de ses sociétés affiliées.
Dernière mise à jour le 2025/08/29 (UTC).
[[["Facile à comprendre","easyToUnderstand","thumb-up"],["J'ai pu résoudre mon problème","solvedMyProblem","thumb-up"],["Autre","otherUp","thumb-up"]],[["Difficile à comprendre","hardToUnderstand","thumb-down"],["Informations ou exemple de code incorrects","incorrectInformationOrSampleCode","thumb-down"],["Il n'y a pas l'information/les exemples dont j'ai besoin","missingTheInformationSamplesINeed","thumb-down"],["Problème de traduction","translationIssue","thumb-down"],["Autre","otherDown","thumb-down"]],["Dernière mise à jour le 2025/08/29 (UTC)."],[[["\u003cp\u003eCloud Composer 2 environments automatically scale the number of workers based on the demands of executed DAGs and tasks, increasing workers during heavy loads and removing them during inactivity.\u003c/p\u003e\n"],["\u003cp\u003eThe environment's scaling is governed by the Scaling Factor Target metric, which considers the current worker count, queued tasks, idle workers, and the \u003ccode\u003ecelery.worker_concurrency\u003c/code\u003e Airflow setting.\u003c/p\u003e\n"],["\u003cp\u003eCloud Composer 2 utilizes three GKE autoscalers (Horizontal Pod Autoscaler, Cluster Autoscaler, and Node auto-provisioning) to automatically adjust the number of nodes, machine types, and workers in the environment's cluster.\u003c/p\u003e\n"],["\u003cp\u003eIn addition to autoscaling, users can manually adjust the CPU, memory, and disk limits for schedulers, web servers, and workers to vertically scale the environment, and they can also choose the environment size to control the managed Cloud Composer infrastructure.\u003c/p\u003e\n"],["\u003cp\u003eCloud Composer 2 allows for the configuration of multiple Airflow schedulers (HA scheduler) to be used simultaneously, but the number of schedulers is not automatically scaled by the system.\u003c/p\u003e\n"]]],[],null,["[Cloud Composer 3](/composer/docs/composer-2/composer/docs/composer-3/environment-scaling \"View this page for Cloud Composer 3\") \\| **Cloud Composer 2** \\| [Cloud Composer 1](/composer/docs/composer-1/environment-scaling \"View this page for Cloud Composer 1\")\n\n\u003cbr /\u003e\n\n\u003cbr /\u003e\n\n\u003cbr /\u003e\n\n\u003cbr /\u003e\n\n\u003cbr /\u003e\n\n\u003cbr /\u003e\n\nThis page describes how environment scaling works in Cloud Composer 2.\n\nOther pages about scaling:\n\n- For a guide about selecting optimal scale and performance parameters for your environment, see [Optimize environment performance and costs](/composer/docs/composer-2/optimize-environments).\n- For information about scaling your environments, see [Scale environments](/composer/docs/composer-2/scale-environments).\n\nAutoscaling environments\n\nCloud Composer 2 environments automatically scale in response to the demands\nof your executed DAGs and tasks:\n\n- If your environment experiences a heavy load, Cloud Composer automatically increases the number of workers in your environment.\n- If your environment does not use some of its workers, these workers are removed to save environment resources and costs.\n- You can set the minimum and maximum number of workers for your environment. Cloud Composer automatically scales your environment within the set limits. You can adjust these limits at any time.\n\nThe number of workers is adjusted based on\nthe [Scaling Factor Target](/composer/docs/composer-2/monitor-environments#worker-metrics) metric. This metric is\ncalculated based on:\n\n- Current number of workers\n- Number of Celery tasks in the Celery queue, that are not assigned to a worker\n- Number of idle workers\n- `celery.worker_concurrency` Airflow configuration option\n\nCloud Composer autoscaling uses three different autoscalers\nprovided by GKE:\n\n- [Horizontal Pod Autoscaler (HPA)](/kubernetes-engine/docs/concepts/horizontalpodautoscaler)\n- [Cluster Autoscaler (CA)](/kubernetes-engine/docs/concepts/cluster-autoscaler)\n- [Node auto-provisioning (NAP)](/kubernetes-engine/docs/how-to/node-auto-provisioning)\n\nCloud Composer configures these autoscalers in the environment's\ncluster. This automatically scales the number of nodes in the cluster, the\nmachine type and the number of workers.\n\nScale and performance parameters\n\nIn addition to autoscaling, you can control the scale and performance\nparameters of your environment by adjusting the CPU, memory, and disk limits\nfor schedulers, web server, and workers. By doing so you can scale your\nenvironment vertically, in addition to the horizontal scaling provided by the\nautoscaling feature. You can adjust the scale and performance parameters of\nAirflow schedulers, web server, and workers at any time.\n\nThe *environment size* performance parameter of your environment controls the\nperformance parameters of the managed Cloud Composer infrastructure\nthat includes the Airflow database. Consider selecting a larger environment\nsize if you want to run a large number of DAGs and tasks with higher\ninfrastructure performance. For example, larger environment's size increases\nthe amount of Airflow task log entries that your environment can process with\nminimal delay.\n| **Note:** Environment size is different from the environment presets. Environment presets, which you can select when you create an environment, determine all limits, scale, and performance parameters of your environment, including the environment size. Environment size determines only the performance parameters of the managed Cloud Composer infrastructure of your environment.\n\nMultiple schedulers\n\nAirflow 2 can use more than one Airflow scheduler at the same time. This\nAirflow feature is also known as the **HA scheduler**. In Cloud Composer 2,\nyou can set the number of schedulers for your environment and adjust it at any\ntime. Cloud Composer does not automatically scale the number of\nschedulers in your environment.\n\nFor more information about configuring the number of schedulers for your\nenvironment, see [Scale environments](/composer/docs/composer-2/scale-environments#scheduler-count).\n\nDatabase disk space\n\nDisk space for the Airflow database automatically increases to accommodate the\ndemand.\n\n\nWhat's next\n\n- [Scale environments](/composer/docs/composer-2/scale-environments)\n- [Cloud Composer pricing](/composer/pricing)\n- [Create environments](/composer/docs/composer-2/create-environments)\n- [Environment architecture](/composer/docs/composer-2/environment-architecture)"]]
