关于环境扩缩

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

本页面介绍 Cloud Composer 2 中环境扩缩的工作原理。

其他有关扩缩的页面：

自动扩缩环境

Cloud Composer 2 环境会自动根据执行的 DAG 和任务的需求进行扩缩：

  • 如果您的环境遇到高负载，Cloud Composer 会自动增加环境中的工作器数量。
  • 如果您的环境不使用某些工作器，则系统会移除这些工作器以节省环境资源和费用。
  • 您可以为环境设置工作器数量下限和上限。 Cloud Composer 会在设定的限制内自动扩缩您的环境。您可以随时调整这些限制。

系统会根据扩缩比例目标这一指标调整工作器数量。该指标的计算依据如下：

  • 当前的工作器数量
  • Celery 队列中未分配给工作器的 Celery 任务数
  • 空闲工作器数量
  • celery.worker_concurrency Airflow 配置选项

Cloud Composer 自动扩缩使用 GKE 提供的三种不同的自动扩缩器：

Cloud Composer 会在环境的集群中配置这些自动扩缩器。这会自动扩缩集群中的节点数、机器类型和工作器数量。

规模和性能参数

除了自动扩缩之外，您还可以通过调整调度器、网络服务器和工作器的 CPU、内存和磁盘限制来控制环境的规模和性能参数。这样，除了自动扩缩功能提供的横向扩缩之外，您还可以纵向扩缩环境。您可以随时调整 Airflow 调度器、网络服务器和工作器的扩缩与性能参数。

您的环境的大小性能参数用于控制包含 Airflow 数据库的代管式 Cloud Composer 基础架构的性能参数。如果您希望运行大量 DAG 和任务并提高基础架构性能，请考虑选择较大的环境大小。例如，环境越大，您的环境可以以最短的延迟时间处理的 Airflow 任务日志条目就越多。

多个调度器

Airflow 2 可以同时使用多个 Airflow 调度器。此 Airflow 功能也称为 HA 调度器。在 Cloud Composer 2 中，您可以为环境设置调度器数量，并随时进行调整。Cloud Composer 不会在您的环境中自动扩缩调度器的数量。

如需详细了解如何为您的环境配置调度器数量，请参阅扩缩环境。

数据库磁盘空间

Airflow 数据库的磁盘空间会自动增加以满足需求。

后续步骤