将环境迁移到 Cloud Composer 3（迁移脚本）

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

本页面介绍如何使用迁移脚本将 DAG、数据和配置从现有 Cloud Composer 2 环境迁移到新的 Cloud Composer 3 环境。

发件人 收件人 方法 指南
Cloud Composer 2 Cloud Composer 3 使用迁移脚本进行并排比较 本指南
Cloud Composer 2 Cloud Composer 3 并排比较（使用快照） 快照迁移指南
Cloud Composer 1、Airflow 2 Cloud Composer 3 并排比较（使用快照） 快照迁移指南
Cloud Composer 1、Airflow 2 Cloud Composer 2 并排比较（使用快照） 快照迁移指南
Cloud Composer 1、Airflow 2 Cloud Composer 2 并排手动转移 手动迁移指南
Cloud Composer 1、Airflow 1 Cloud Composer 2、Airflow 2 并排比较（使用快照） 快照迁移指南
Cloud Composer 1、Airflow 1 Cloud Composer 2、Airflow 2 并排手动转移 手动迁移指南
Cloud Composer 1、Airflow 1 Cloud Composer 1、Airflow 2 并排手动转移 手动迁移指南

迁移脚本简介

迁移脚本是一个用于并行迁移的 Python 脚本，可自动执行从 Cloud Composer 2 到 Cloud Composer 3 的迁移过程。它使用环境快照将环境的配置转移到新环境。

该脚本会执行以下操作：

  1. 获取 Cloud Composer 2 环境的配置。

  2. 创建配置与所获配置相匹配的 Cloud Composer 3 环境。

    由于 Cloud Composer 3 环境具有不同的架构，因此可能需要调整某些参数以适应这些差异。您也可以稍后调整大多数环境参数。

  3. 逐个暂停 Cloud Composer 2 环境中的所有 DAG。只有在 Cloud Composer 2 环境中取消暂停的 DAG 才会稍后取消暂停。

  4. 保存源 Cloud Composer 2 环境的快照。快照会保存在快照的默认位置，即 Cloud Composer 2 环境的存储桶中。

  5. 将快照加载到 Cloud Composer 3 环境。

    该脚本不会检查自定义 PyPI 软件包、环境变量和 Airflow 配置选项替换与 Cloud Composer 3 环境的兼容性。

    如果发生冲突，迁移会在创建 Cloud Composer 3 环境后加载快照的过程中失败。在这种情况下，您可以调整 Cloud Composer 2 环境的配置以解决冲突，也可以在不使用迁移脚本的情况下进行迁移，并在加载快照时跳过加载自定义 PyPI 软件包、环境变量或 Airflow 配置替换。

  6. 取消暂停 Cloud Composer 3 环境中的 DAG。如果您在运行脚本之前已暂停某些 DAG，这些 DAG 将保持暂停状态。

该脚本具有以下限制：

  • 该脚本始终会创建新的 Cloud Composer 3 环境。无法将快照加载到现有的 Cloud Composer 3 环境中。为此，您可以使用快照进行迁移，而无需使用迁移脚本。

  • 该脚本仅在 Cloud Composer 2 环境所在的同一区域和项目中创建 Cloud Composer 3 环境。

  • 您只能将快照加载到相同或更高版本的 Airflow 中。例如，您无法将快照从 Airflow 2.10.2 加载到 Airflow 2.9.3。

  • 只有 Cloud Composer 2 环境可以使用迁移脚本进行迁移。

准备工作

  • 由于迁移脚本会创建环境，然后保存并加载快照，因此迁移过程可能需要一个多小时。

  • 该脚本使用快照。支持快照

  • 在 Cloud Composer 2 版本 2.0.9 及更高版本中。

  • 您的账号需要具备可创建环境、保存快照和加载快照的 IAM 角色。

  • 支持快照的 Airflow 数据库的大小上限为 20 GB。如果环境的数据库占用超过 20 GB 的空间，请减小 Airflow 数据库的大小。

  • 如需创建快照，环境存储桶中 /dags、/plugins 和 /data 文件夹中的对象总数必须少于 10 万。

  • 如果您使用 XCom 机制来传输文件，请确保按照 Airflow 的指南使用该机制。使用 XCom 传输大文件或大量文件会影响 Airflow 数据库的性能，并可能导致在加载快照或升级环境时出现故障。建议使用替代方案（例如 Cloud Storage）来转移大量数据。

迁移到 Cloud Composer 3

本部分介绍如何使用迁移脚本进行迁移。

查看 Cloud Composer 2 和 Cloud Composer 3 之间的差异

查看 Cloud Composer 2 和 Cloud Composer 3 之间的差异列表。

确保您的环境不使用 Cloud Composer 3 中尚未提供的功能，并且您熟悉如何使用和配置 Cloud Composer 3 特有的功能。

确保您的 DAG 与 Cloud Composer 3 兼容

请按照以下建议操作，确保您的 DAG 与 Cloud Composer 3 兼容：

  • Cloud Composer 3 环境中的软件包列表可能与 Cloud Composer 2 环境中的不同。这可能会影响您的 DAG 与 Cloud Composer 3 的兼容性。

  • 在 Cloud Composer 3 中，环境的集群位于租户项目中。请确保您的 DAG 与此变更兼容。具体而言，KubernetesPodOperator 工作负载现在可以独立于环境进行扩缩，并且无法使用 Pod 亲和性配置。

安装脚本的依赖项

  • 该脚本需要 Python 3.8 版及更高版本。

  • 迁移脚本使用 gcloud CLI 和 curl 实用程序。确保您的计算机上安装了这两个实用程序。

下载脚本：

从 GitHub 上的代码库下载迁移脚本 (composer_migrate.py)。

在 gcloud CLI 中授权

在 gcloud CLI 中授权：

gcloud auth login

预览新环境的参数

您可以在迁移之前预览 Cloud Composer 3 环境的参数。您可以使用此工具来了解 Cloud Composer 2 环境的配置与 Cloud Composer 3 的配置有何对应关系。

Airflow 配置选项替换、自定义 PyPI 软件包和环境变量会从环境的快照中加载，并且不会显示在预览中。

展开

运行以下命令：

python3 composer_migrate.py \
    --project PROJECT_ID \
    --location LOCATION \
    --source_environment COMPOSER_2_ENV \
    --target_environment COMPOSER_3_ENV \
    --target_airflow_version COMPOSER_3_AIRFLOW_VERSION \
    --dry_run

替换以下内容：

  • PROJECT_ID：项目 ID。
  • COMPOSER_2_ENV：Cloud Composer 2 环境的名称。
  • LOCATION：Cloud Composer 2 环境所在的区域。 Cloud Composer 3 环境将在同一区域中创建。
  • COMPOSER_3_AIRFLOW_VERSION：Cloud Composer 3 环境的 Airflow 版本。此版本必须与 Cloud Composer 2 环境中的版本相同或更高，并且必须是 Cloud Composer 3 中提供的版本之一。

示例：

python3 composer_migrate.py \
    --project example-project \
    --location us-central1 \
    --source_environment example-composer-2-environment \
    --target_environment example-composer-3-environment \
    --target_airflow_version 2.10.2

检查环境的运行状况

确保要迁移的 Cloud Composer 2 环境运行正常。

如果您的环境状况不佳，迁移流程将在创建新的 Cloud Composer 3 环境后失败，因为无法创建快照。

如需详细了解如何检查环境健康状况和数据库健康状况，请参阅使用监控信息中心。

运行迁移脚本

运行以下命令：

python3 composer_migrate.py \
    --project PROJECT_ID \
    --location LOCATION \
    --source_environment COMPOSER_2_ENV \
    --target_environment COMPOSER_3_ENV \
    --target_airflow_version COMPOSER_3_AIRFLOW_VERSION

替换以下内容：

  • PROJECT_ID：项目 ID。
  • COMPOSER_2_ENV：Cloud Composer 2 环境的名称。
  • LOCATION：Cloud Composer 2 环境所在的区域。 Cloud Composer 3 环境将在同一区域中创建。
  • COMPOSER_3_AIRFLOW_VERSION：Cloud Composer 3 环境的 Airflow 版本。此版本必须与 Cloud Composer 2 环境中的版本相同或更高，并且必须是 Cloud Composer 3 中提供的版本之一。

检查是否存在 DAG 错误

  1. 在 Airflow 网页界面中，转到 DAG 并查看报告的 DAG 语法错误。

  2. 检查 DAG 运行是否安排在正确的时间。

  3. 等待 DAG 在 Cloud Composer 3 环境中运行并检查运行是否成功。如果 DAG 运行成功，请不要在 Cloud Composer 2 环境中取消暂停该 DAG。如果这样做，则 DAG 会在 Cloud Composer 2 环境中以相同的时间和日期运行。

  4. 如果特定 DAG 运行失败，请尝试对该 DAG 进行问题排查，直到它在 Cloud Composer 3 中成功运行为止。

监控 Cloud Composer 3 环境

监控 Cloud Composer 3 环境是否存在潜在问题、DAG 运行失败以及环境整体运行状况。

如果 Cloud Composer 3 环境在足够长的时间内正常运行，请考虑删除 Cloud Composer 2 环境。

后续步骤