Cloud Composer 1 处于维护后模式。Google 无法发布 Cloud Composer 1 的进一步更新，包括新版 Airflow、问题修复和安全更新。我们建议您规划迁移到 Cloud Composer 2。

此页面由 Cloud Translation API 翻译。

升级环境

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

本页介绍了如何将您的环境升级到新版 Airflow。

升级操作简介

在 Cloud Composer 3 中，您不负责管理 Cloud Composer 版本 您的环境：

Cloud Composer 会自动升级环境的基础架构组件。这些组件与 Cloud Composer 功能相关，不会更改 Airflow 的运作方式或 Airflow DAG 的执行方式。
Cloud Composer 不会自动升级 Airflow 版本 Airflow 组件，或与 Airflow 密切相关的组件工作负载在基础架构组件升级时，不会更改这些资源。。
您可以手动升级到新的 Airflow

例如，您可以使用相同的 Airflow 版本和 build 几个月，而无需执行任何升级，并且您的环境仍会收到最新的 Cloud Composer 更新、修复程序和环境基础架构组件的改进。稍后，如果您决定改用 Airflow 的新版本或 build，则需要升级环境中的 Airflow 版本。

Airflow 版本升级简介

您的环境会以以下方式更改 Airflow 的版本或 build：

您可以控制环境的 Airflow 版本（和 build）。您可以执行 Airflow 版本升级操作其他版本的 Airflow例如，如果 Airflow 的当前版本和 build 不再受支持，就可能会发生这种情况。
Cloud Composer 重新部署环境的 Airflow 组件使用指定的 Airflow 版本和 build。
Cloud Composer 会应用 Airflow 配置更改，例如自定义 PyPI 软件包或 Airflow 配置选项替换环境在升级前就已拥有它们
Cloud Composer 会更新 Airflow airflow_db 连接，使其指向新的 Cloud SQL 数据库。

更改 Airflow 版本不会改变您连接到资源的方式例如您的环境存储桶的网址 Airflow Web 服务器。

自动基础架构升级操作简介

Cloud Composer 会定期运行 基础架构自动升级操作：

自动基础架构升级操作会在为环境指定的维护窗口内定期运行。
无法在 Cloud Composer 3 中停用自动基础架构升级。您可以控制自动升级的时间段可以为您的环境指定自定义维护窗口来运行。
此操作在 Google Cloud 控制台和环境日志，就像任何其他长时间运行的操作一样。在操作运行期间，您无法在环境级别启动其他操作（但仍可以运行 Airflow DAG）。
在某些情况下，自动基础架构升级可能会重启 Airflow 组件。在此类重启期间，Airflow 工作器会正常并在 24 小时的宽限期内终止。如果你有需要完成的任务超过 24 小时才完成，请考虑使用可延期运算符。升级可能会导致环境的基础架构组件（例如环境监控）短时间内无法使用。

升级操作的限制

升级操作具有以下限制：

您无法降级到较低版本或 build 的 Airflow。

如果 Airflow 数据库包含的数据超过 16 GB，则无法升级环境。升级期间 Airflow 数据库大小超过 16 GB 时显示。在这种情况下，请执行数据库维护以减小数据库大小。
如果您使用 XCom 机制传输文件，请确保按照 Airflow 准则使用该机制。使用 XCom 传输大型文件或大量文件会影响 Airflow 数据库的性能，并可能会导致加载快照或升级环境时发生失败。请考虑使用如下替代方案 Cloud Storage 来传输大量数据。

准备工作

注意：

请确保您了解当前 Airflow 版本与要升级到的版本之间的差异。新版本可能包含预安装的不同版本 Cloud Composer 中的补丁，或 Airflow 中的更改功能（由 Airflow 开源项目提供）。您可以查看 Chrome 中随附的提供程序软件包的版本特定版本。
确保您的 DAG 与新版 Airflow 以及所有提供方软件包（包括适用于 Google Cloud 和 Google 服务的 Airflow 提供方软件包）的较新版本兼容。不兼容的更改可能会导致您的 DAG 无法再正常运行。
与基础架构自动升级不同，当环境升级到新的 Airflow 版本或 build 时 所有正在运行的任务都会终止。升级完成后，Airflow 会根据您为 DAG 配置的重试方式，安排这些任务进行重试。

我们建议您创建一个新快照以便在需要时重新创建环境。
您的账号必须具有可触发环境升级的角色操作。此外，环境的服务账号必须具有拥有足够权限来执行升级操作的角色。如需了解详情，请参阅访问权限控制。

检查您的环境是否为最新版本

出现以下情况时，Cloud Composer 会显示警告：您的环境的 Airflow build 将临近支持终止日期。您可以利用这些警告使您的环境始终保持受支持状态。

“环境详情”页面上会显示弃用消息 — **图 1.** 环境中会显示弃用消息详情页面

Cloud Composer 会跟踪您的环境所基于的 Airflow 版本和 build。当它接近支持终止日期、您会在环境列表和 环境详情页面。

如需检查您的环境是否为最新版本，请执行以下操作：

控制台

在 Google Cloud 控制台中，前往环境页面。

转到“环境”
在环境列表中，点击您的环境名称。环境详情页面会打开。
转到环境配置标签页。
映像版本字段中会显示以下消息之一：
- 最新可用版本。环境映像受到完全支持。
- 有新版本。环境映像受到完全支持，您可以将其升级到更高版本。
- 对此映像版本的支持将于...结束 环境映像接近完全支持终止日期。
- 从...起，此版本将不再受支持环境已超出完全支持期限。

gcloud

此功能无法通过 Google Cloud CLI 使用。您可以请改为查看可用升级，其中会显示新版本可用

API

此功能无法通过 API 使用。您可以请改为查看可用升级，其中会显示新版本可用

查看可用的升级许可

如需查看您可以升级到的目标 Cloud Composer 版本，请执行以下操作：

控制台

在 Google Cloud 控制台中，前往环境页面。

转到“环境”
在环境列表中，点击您的环境名称。环境详情页面会打开。
转到环境配置标签页，然后点击 升级映像版本。
如需查看可用版本的列表，请点击 Cloud Composer 映像版本下拉菜单。

gcloud

gcloud composer environments list-upgrades \
  ENVIRONMENT_NAME \
  --location LOCATION

替换：

ENVIRONMENT_NAME 替换为环境的名称。
LOCATION 替换为环境所在的区域。

示例：

gcloud composer environments list-upgrades example-environment \
  --location us-central1

API

您可以查看某个营业地点的可用版本。为此，请构建一个 imageVersions.list API 请求。

例如：

// GET https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/imageVersions

在升级之前检查是否存在 PyPI 软件包冲突

您可以检查环境中安装的 PyPI 软件包中与新版中预安装的软件包冲突 Airflow 版本或 build。

成功的检查意味着当前版本和指定版本之间的 PyPI 软件包依赖项没有冲突。不过，升级操作仍然可能由于其他原因而不成功。

控制台

如需为您的环境运行升级检查，请执行以下操作：

在 Google Cloud 控制台中，前往环境页面。

转到“环境”
在环境列表中，点击您的环境名称。环境详情页面会打开。
转到环境配置标签页，找到印象版本条目后，点击升级。
在环境版本升级对话框中， 新版本下拉列表中，选择 Airflow 版本要升级到的目标版本
在 PyPI 软件包兼容性 (PyPI packages compatibility) 部分，点击检查是否存在冲突 (Check for conflicts)。
等待检查完成。如果存在 PyPI 软件包依赖项冲突，则显示的错误消息包含有关冲突软件版包和软件包版本的详细信息。

gcloud

如需为您的环境运行升级检查，请运行 environments check-upgrade 命令（其中包含 Airflow 版本或 build。要升级到的目标版本

gcloud composer environments check-upgrade \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --airflow-version VERSION

您需要将其中的：

ENVIRONMENT_NAME 替换为环境的名称。
LOCATION 替换为环境所在的区域。
VERSION，其中包含您要升级到的新的 Airflow 版本和 build，格式为 airflow-x.y.z-build.t。您还可以使用所有版本别名。

示例：

gcloud composer environments check-upgrade example-environment \
  --location us-central1 \
  --airflow-version airflow-2.9.3-build.3

输出示例：

Waiting for [projects/example-project/locations/us-central1/environments/
example-environment] to be checked for PyPI package conflicts when upgrading
to composer-3-airflow-2.9.3-build.3. Operation [projects/example-project/locations/
us-central1/operations/04d0e8b2-...]...done.
...

Response:
'@type': type.googleapis.com/
google.cloud.orchestration.airflow.service.v1.CheckUpgradeResponse
buildLogUri: https://console.cloud.google.com/cloud-build/builds/79738aa7-...
containsPypiModulesConflict: CONFLICT
pypiConflictBuildLogExtract: |-
The Cloud Build image build failed: Build failed; check build logs for
details. Full log can be found at https://console.cloud.google.com/
cloud-build/builds/79738aa7-...
Error details: tensorboard 2.2.2 has requirement
setuptools>=41.0.0, but you have setuptools 40.3.0.

或者，您也可以异步运行升级检查。使用 --async 参数进行异步调用，然后使用 gcloud composer operations describe 命令检查结果。

API

构建 environments.checkUpgrade API 请求。

在 imageVersion 字段中指定映像版本：

{
  "imageVersion": "VERSION"
}

将 VERSION 替换为您要升级到的新版本（采用 composer-3-airflow-x.y.z-build.t 格式）。

升级环境

升级环境新版本的 Airflow 执行以下操作：

控制台

在 Google Cloud 控制台中，前往环境页面。

转到“环境”
在环境列表中，点击您的环境名称。环境详情页面会打开。
转到环境配置标签页。
找到映像版本项，然后点击升级。
从映像版本下拉菜单中，选择要升级到的 Airflow 版本或 build。
点击升级。

gcloud

gcloud composer environments update \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --airflow-version VERSION

替换：

ENVIRONMENT_NAME 替换为环境的名称。
LOCATION 替换为环境所在的区域。
VERSION：您要升级的新 Airflow 版本和 build 并采用 airflow-x.y.z-build.t 格式。您还可以使用所有版本别名。

例如：

gcloud composer environments update
  example-environment \
  --location us-central1 \
  --airflow-version airflow-2.9.3-build.3

API

构建 environments.patch API 请求。
在此请求中：
1. 在 updateMask 参数中，指定 config.softwareConfig.imageVersion 个蒙版。
2. 在请求正文的 imageVersion 字段中，指定要升级到的新版本。

例如：

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.imageVersion

  {
    "config": {
      "softwareConfig": {
        "imageVersion": "composer-3-airflow-2.9.3-build.3"
      }
    }
  }

Terraform

config.software_config 块中的 image_version 字段用于控制环境的 Airflow 版本和 build。在本课中，字段中，指定新的 Airflow 版本和 build。

  resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    software_config {
      image_version = "VERSION"
    }
  }
}

您需要将其中的：

ENVIRONMENT_NAME 替换为环境的名称。
将 LOCATION 替换为环境所在的区域。您要升级到的新的 Airflow 版本和 build，格式为 airflow-x.y.z-build.t。您还可以使用所有版本别名。

示例：

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    software_config {
      image_version = "airflow-2.9.3-build.3"
    }
  }
}

升级环境

升级操作简介

Airflow 版本升级简介

自动基础架构升级操作简介

升级操作的限制

准备工作

检查您的环境是否为最新版本

控制台

gcloud

API

查看可用的升级许可

控制台

gcloud

API

在升级之前检查是否存在 PyPI 软件包冲突

控制台

gcloud

API

升级环境

控制台

gcloud

API

Terraform

后续步骤