更新环境

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

本页介绍了如何更新环境。

更新操作简介

当您更改环境的参数（例如指定新的缩放和性能参数或安装自定义 PyPI 软件包）时，您的环境会更新。

此操作完成后，您环境中的更改将生效。

对于单个 Cloud Composer 环境，您一次只能启动一个更新操作。您必须等待更新操作完成，然后才能开始执行其他环境操作。

触发器 CPU 限制

2.4.4 版中的 Cloud Composer 引入了 Airflow 触发器的伸缩方法 组件。

在 2.4.4 版之前，Cloud Composer 环境最多只能使用 1 个或 2 个触发器。变更生效后，每个环境最多可以有 10 个触发器，但每个触发器最多只能使用 1 个 vCPU。

如果您的环境配置了更多配置，则环境更新操作会失败 每个触发器不能超过 1 个 vCPU。您必须调整配置以满足 1 个 vCPU 的限制，才能对其他组件执行更新。

如需了解详情，请参阅以下主题：

更新对正在运行的 Airflow 任务有何影响

运行更新操作时，Airflow 调度器和 您的环境中的工作器可能需要重启。在这种情况下 会终止当前正在运行的任务。更新操作完成后，Airflow 会安排这些任务进行重试，具体取决于您为 DAG 配置重试的方式。

以下变更会导致 Airflow 任务终止：

  • 正在将您的环境升级到新版本。
  • 添加、更改或删除自定义 PyPI 软件包。
  • 更改 Cloud Composer 环境变量。
  • 添加或移除 Airflow 配置选项替换项，或更改其值。
  • 更改 Airflow 工作器的 CPU、内存或存储空间。
  • 如果新值低于当前正在运行的工作器数量，则会降低 Airflow 工作器数量上限。例如，如果某个环境当前运行三个工作器，而上限减少到两个。
  • 更改环境的弹性模式。

以下更改不会导致 Airflow 任务终止：

  • 创建、更新或删除 DAG（而非更新操作）。
  • 暂停或取消暂停 DAG（而非更新操作）。
  • 更改 Airflow 变量（而非更新操作）。
  • 更改 Airflow 连接（而非更新操作）。
  • 启用或停用 Dataplex Data Lineage 集成。
  • 正在更改环境的大小。
  • 更改调度器的数量。
  • 更改 Airflow 调度器CPU、内存或存储空间。
  • 更改触发器数量。
  • 更改 Airflow 触发器的 CPU、内存或存储空间。
  • 更改 Airflow Web 服务器的 CPU、内存或存储空间。
  • 增加或减少工作器数量下限。
  • 减少 Airflow 工作器数量上限。例如，如果某个环境当前运行两个工作器，而上限减少到三个。
  • 更改维护窗口。
  • 更改定期快照设置。
  • 正在更改环境标签。

使用 Terraform 进行更新

在 terraform apply 之前运行 terraform plan，查看 Terraform 是否会创建新的环境，而不是进行更新。

准备工作

  • 检查您的账号、环境的服务账号， 您项目中的 Cloud Composer Service Agent 账号 所需权限：

  • gcloud composer environments update命令会在 操作完成时的状态。您可以使用 --async 标志来避免等待操作完成。

更新环境

如需详细了解如何更新环境，请参阅其他文档 有关特定更新操作的页面。例如：

查看环境详情

控制台

  1. 在 Google Cloud 控制台中，前往环境页面。

    转到“环境”

  2. 在环境列表中，点击您的环境名称。环境详情页面会打开。

gcloud

运行以下 gcloud 命令：

gcloud composer environments describe ENVIRONMENT_NAME \
  --location LOCATION

您需要将其中的：

  • ENVIRONMENT_NAME 替换为环境的名称。
  • LOCATION 替换为环境所在的区域。

API

构建 environments.get API 请求。

示例：

GET https://composer.googleapis.com/v1/projects/example-project/
locations/us-central1/environments/example-environment

Terraform

运行环境资源的 terraform state show 命令。

您的环境的 Terraform 资源的名称可能与 您的环境的名称。

terraform state show google_composer_environment.RESOURCE_NAME

您需要将其中的：

  • 将 RESOURCE_NAME 替换为您的环境资源的名称。

回滚更新更改

在某些极少数情况下，更新操作可能会中断（例如，因超时而中断），并且系统可能不会在所有环境组件（例如 Airflow Web 服务器）中回滚请求的更改。

例如，更新操作可能是 PyPI 模块，重新定义或定义新的 Airflow 或 Cloud Composer 环境变量或更改某些与 Airflow 相关的参数。

如果在更新配置中， 操作正在进行中，例如 Cloud Composer 集群的 自动扩缩或维护操作

在这种情况下，建议您重复操作。

更新或升级操作的持续时间

大多数更新或升级操作都需要重启 Airflow 组件，例如 Airflow 调度器、工作器和 Web 服务器。

组件重启后，必须进行初始化。在 初始化、Airflow 调度器和工作器下载 /dags 的内容 和 /plugins 个文件夹。将文件同步到 Airflow 调度器和工作器的过程并非瞬时完成，具体取决于这些文件夹中所有对象的总大小和数量。

我们建议您仅在 /dags 和 /plugins 文件夹中保留 DAG 和插件文件，并移除所有其他文件。数据过多 在 /dags 和 /plugins 文件夹中，可能会减慢 Airflow 的初始化速度 并且在某些情况下可能会导致无法进行初始化。

我们建议在 /dags 和 /plugins 文件夹中保存的数据应不超过 30 MB，数据大小绝对不要超过 100 MB。

如需了解详情，另请参阅：

后续步骤