Cloud Composer 1 处于维护后模式。Google 无法发布 Cloud Composer 1 的进一步更新，包括新版 Airflow、问题修复和安全更新。我们建议您规划迁移到 Cloud Composer 2。

此页面由 Cloud Translation API 翻译。

升级环境

Cloud Composer 1 |Cloud Composer 2 |Cloud Composer 3

本页面介绍了如何将环境升级到 Cloud Composer 或 Airflow 版本。

升级操作简介

您可以升级 Cloud Composer 版本、Airflow 版本或同时查看这两者

更改环境使用的 Airflow 或 Cloud Composer 版本时：

Cloud Composer 会重新部署环境的组件使用新版本的 Cloud Composer 映像。
Cloud Composer 会应用 Airflow 配置更改，例如自定义 PyPI 软件包或 Airflow 配置选项替换环境在升级前就已拥有它们
Cloud Composer 会更新 Airflow airflow_db 连接，使其指向新的 Cloud SQL 数据库。

升级不会改变您在资源管理器中例如您的环境存储桶的网址，或 Airflow Web 服务器。

升级操作的限制

升级操作存在以下限制：

您无法降级到早期版本的 Cloud Composer 或 Airflow。

在 Google Cloud 控制台中，您只能升级到受支持的最新版本多个版本的 Cloud Composer
在 Google Cloud CLI、API 或 Terraform 中，您可以将环境升级到最新的受支持版本、三个 Cloud Composer 过往版本、上一个小版本的最后一个补丁版本，以及具有延长的升级时间表的版本。您无法升级到其他版本的 Cloud Composer，即使这些版本仍受支持且可用于创建新环境也是如此。
要升级到的目标版本必须支持您的环境的当前 Python 版本。
Compute Engine API 配额限制可能会阻止升级。在 Google Cloud 控制台中，前往 IAM 和管理。 > 配额和系统限制页面，然后检查未超出 CPU 的 Compute Engine API 配额。如果正在接近配额阈值，请在继续升级操作。

如果 Airflow 数据库包含的数据超过 16 GB，则无法升级环境。在升级过程中 Airflow 数据库大小超过 16 GB 时显示。在这种情况下，请执行数据库维护以减小数据库大小。
如果您使用 XCom 机制传输文件，请确保您按照 Airflow 的指南使用它。使用 XCom 传输大型文件或大量文件会影响 Airflow 数据库的性能，并可能会导致加载快照或升级环境时发生失败。请考虑使用如下替代方案 Cloud Storage 来传输大量数据。

准备工作

注意：

请确保您了解当前 Airflow 和 Cloud Composer 版本与要升级到的版本之间的差异。新版本可能包含预安装的不同版本 Cloud Composer 中的补丁，或 Airflow 中的更改功能（由 Airflow 开源项目提供）。您可以查看 Chrome 中随附的提供程序软件包的版本特定版本。
请确保您的 DAG 与新 Airflow 版本兼容，并且所有提供程序软件包（包括 Airflow 提供程序）的新版本适用于 Google Cloud 和 Google 服务的软件包）。不兼容的更改导致 DAG 无法正常工作。
在升级操作期间，所有正在运行的任务都会终止。升级完成后，Airflow 会安排这些任务进行重试，具体取决于您为 DAG 配置重试的方式。
不要在您的集群 GKE 从 Cloud Composer 环境迁移到较新的版本使用在创建环境期间预先配置的 GKE 版本，并依靠 GKE 服务的自动升级。

我们建议您创建一个新快照以便在需要时重新创建环境。
您的账号必须具有可以触发环境升级操作的角色。此外，环境的服务账号必须具有具有足够权限来执行升级操作的角色。如需了解详情，请参阅访问权限控制。

检查您的环境是否为最新版本

当环境映像接近其完全支持终止日期时，Cloud Composer 会显示警告。您可以利用这些警告使您的环境始终保持受支持状态。

“环境详情”页面上会显示弃用消息 — **图 1.**环境详情页面上会显示一条废弃消息

Cloud Composer 会跟踪 Cloud Composer 映像版本环境所依据的基础架构。当映像接近其支持终止日期时，您会在环境列表和环境详情页面上看到警告。

如需检查您的环境是否是最新版本，请执行以下操作：

控制台

在 Google Cloud 控制台中，前往环境页面。

转到“环境”
在环境列表中，点击您的环境名称。环境详情页面会打开。
转到环境配置标签页。
映像版本字段中会显示以下消息之一：
- 最新可用版本。环境映像受到完全支持。
- 有新版本。环境映像受到完全支持，您可以将其升级到更高版本。
- 对此映像版本的支持将于...结束 环境映像接近完全支持终止日期。
- 从...起，此版本将不再受支持环境已超出完全支持期限。

gcloud

此功能无法通过 Google Cloud CLI 使用。您可以请改为查看可用升级，其中会显示新版本可用

API

此功能无法通过 API 使用。您可以改为查看可用的升级，系统会显示可用的新版本。

查看可用的升级

如需查看您可以升级到的目标 Cloud Composer 版本，请执行以下操作：

控制台

在 Google Cloud 控制台中，前往环境页面。

转到“环境”
在环境列表中，点击您的环境名称。环境详情页面会打开。
前往环境配置标签页，然后点击升级映像版本。
如需查看可用版本的列表，请点击 Cloud Composer 映像版本下拉菜单。

gcloud

gcloud composer environments list-upgrades \
  ENVIRONMENT_NAME \
  --location LOCATION

替换：

ENVIRONMENT_NAME 替换为环境的名称。
LOCATION 替换为环境所在的区域。

示例：

gcloud composer environments list-upgrades example-environment \
  --location us-central1

API

您可以查看某个营业地点的可用版本。为此，请构建一个 imageVersions.list API 请求。

例如：

// GET https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/imageVersions

在升级之前检查是否存在 PyPI 软件包冲突

您可以检查环境中安装的 PyPI 软件包中与新版中预安装的软件包冲突 Cloud Composer 映像。

成功的检查意味着当前版本和指定版本之间的 PyPI 软件包依赖项没有冲突。不过，升级操作仍然可能由于其他原因而不成功。

控制台

如需为您的环境运行升级检查，请执行以下操作：

在 Google Cloud 控制台中，前往环境页面。

转到“环境”
在环境列表中，点击您的环境名称。环境详情页面会打开。
转到环境配置标签页，找到印象版本条目后，点击升级。
在环境版本升级对话框中，在新版本下拉列表中，选择 Cloud Composer 要升级到的目标版本
在 PyPI 软件包兼容性 (PyPI packages compatibility) 部分，点击检查是否存在冲突 (Check for conflicts)。
等待检查完成。如果存在 PyPI 软件包依赖项冲突，则显示的错误消息包含有关冲突软件版包和软件包版本的详细信息。

gcloud

如需为您的环境运行升级检查，请运行 environments check-upgrade 命令（其中包含 Cloud Composer 映像版本。要升级到的目标版本

gcloud composer environments check-upgrade \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --image-version VERSION

您需要将其中的：

ENVIRONMENT_NAME 替换为环境的名称。
LOCATION 替换为环境所在的区域。
将 VERSION 替换为您要升级到的新的 Cloud Composer 映像版本，采用 composer-a.b.c-airflow-x.y.z 格式。您还可以使用所有版本别名。

示例：

gcloud composer environments check-upgrade example-environment \
  --location us-central1 \
  --image-version composer-2.9.6-airflow-2.9.1

输出示例：

Waiting for [projects/example-project/locations/us-central1/environments/
example-environment] to be checked for PyPI package conflicts when upgrading
to composer-2.9.6-airflow-2.9.1. Operation [projects/example-project/locations/
us-central1/operations/04d0e8b2-...]...done.
...

Response:
'@type': type.googleapis.com/
google.cloud.orchestration.airflow.service.v1.CheckUpgradeResponse
buildLogUri: https://console.cloud.google.com/cloud-build/builds/79738aa7-...
containsPypiModulesConflict: CONFLICT
pypiConflictBuildLogExtract: |-
The Cloud Build image build failed: Build failed; check build logs for
details. Full log can be found at https://console.cloud.google.com/
cloud-build/builds/79738aa7-...
Error details: tensorboard 2.2.2 has requirement
setuptools>=41.0.0, but you have setuptools 40.3.0.

或者，您也可以异步运行升级检查。使用 --async 参数进行异步调用，然后使用 gcloud composer operations describe 命令检查结果。

API

构建 environments.checkUpgrade API 请求。

在 imageVersion 字段中指定映像版本：

{
  "imageVersion": "VERSION"
}

将 VERSION 替换为您要升级到的新版本（采用 composer-a.b.c-airflow-x.y.z 格式）。

升级环境

如需将环境升级到更高版本的 Cloud Composer 或 Airflow，请执行以下操作：

控制台

在 Google Cloud 控制台中，前往环境页面。

转到“环境”
在环境列表中，点击您的环境名称。环境详情页面会打开。
转到环境配置标签页。
找到映像版本项，然后点击升级。
从映像版本下拉菜单中，选择 Cloud Composer 要升级到的目标版本
点击升级。

gcloud

gcloud composer environments update \
  ENVIRONMENT_NAME \
  --location LOCATION \
  --image-version VERSION

替换：

ENVIRONMENT_NAME 替换为环境的名称。
LOCATION 替换为环境所在的区域。
将 VERSION 替换为您要升级到的新的 Cloud Composer 映像版本，采用 composer-a.b.c-airflow-x.y.z 格式。您还可以使用所有版本别名。

例如：

gcloud composer environments update
  example-environment \
  --location us-central1 \
  --image-version composer-2.9.6-airflow-2.9.1

API

构建 environments.patch API 请求。
在此请求中：
1. 在 updateMask 参数中，指定 config.softwareConfig.imageVersion 个蒙版。
2. 在请求正文的 imageVersion 字段中，指定要升级到的新版本。

例如：

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.imageVersion

  {
    "config": {
      "softwareConfig": {
        "imageVersion": "composer-2.9.6-airflow-2.9.1"
      }
    }
  }

Terraform

config.software_config 块中的 image_version 字段用于控制环境的 Cloud Composer 映像。在此字段中，指定新的 Cloud Composer 映像。

  resource "google_composer_environment" "example" {
  provider = google-beta
  name = "ENVIRONMENT_NAME"
  region = "LOCATION"

  config {
    software_config {
      image_version = "VERSION"
    }
  }
}

您需要将其中的：

ENVIRONMENT_NAME 替换为环境的名称。
将 LOCATION 替换为环境所在的区域。您要升级到的新的 Cloud Composer 映像版本，采用 composer-a.b.c-airflow-x.y.z 格式。您还可以使用所有版本别名。

示例：

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  config {
    software_config {
      image_version = "composer-2.9.6-airflow-2.9.1"
    }
  }
}

升级环境

升级操作简介

升级操作的限制

准备工作

检查您的环境是否为最新版本

控制台

gcloud

API

查看可用的升级

控制台

gcloud

API

在升级之前检查是否存在 PyPI 软件包冲突

控制台

gcloud

API

升级环境

控制台

gcloud

API

Terraform

后续步骤