Cloud Composer 1 |Cloud Composer 2 |Cloud Composer 3
本页面介绍 Cloud Composer 2 中环境扩缩的工作原理。
其他有关扩缩的页面：
自动扩缩环境
Cloud Composer 2 环境会自动根据执行的 DAG 和任务的需求进行扩缩：
- 如果您的环境遇到高负载，Cloud Composer 会自动增加环境中的工作器数量。
- 如果您的环境不使用某些工作器，则系统会移除这些工作器以节省环境资源和费用。
- 您可以为环境设置工作器数量下限和上限。 Cloud Composer 会在设定的限制内自动扩缩您的环境。您可以随时调整这些限制。
系统会根据扩缩比例目标这一指标调整工作器数量。该指标的计算依据如下：
- 当前的工作器数量
- Celery 队列中未分配给工作器的 Celery 任务数量
- 空闲工作器数量
celery.worker_concurrencyAirflow 配置选项
Cloud Composer 自动扩缩使用 GKE 提供的三种不同的自动扩缩器：
Cloud Composer 会在环境的集群中配置这些自动扩缩器。这会自动扩缩集群中的节点数、机器类型和工作器数量。
规模和性能参数
除了自动扩缩之外，您还可以通过调整调度器、网络服务器和工作器的 CPU、内存和磁盘限制来控制环境的规模和性能参数。这样，除了自动扩缩功能提供的横向扩缩之外，您还可以纵向扩缩环境。您可以随时调整 Airflow 调度器、网络服务器和工作器的扩缩与性能参数。
您的环境的大小性能参数用于控制包含 Airflow 数据库的代管式 Cloud Composer 基础架构的性能参数。建议选择空间更大的环境 和更高大小的任务 基础架构性能。例如，更大的环境规模 您的环境可以处理的 Airflow 任务日志条目量 尽可能缩短延迟时间
多个调度器
Airflow 2 可以同时使用多个 Airflow 调度器。此 Airflow 功能也称为 HA 调度器。在 Cloud Composer 2 中，您可以为环境设置调度器数量，并随时进行调整。Cloud Composer 不会在您的环境中自动扩缩调度器的数量。
如需详细了解如何为您的环境配置调度器数量，请参阅扩缩环境。
数据库磁盘空间
Airflow 数据库的磁盘空间会自动增加以满足需求。
后续步骤