管理实例和流水线的版本升级

本页面介绍了如何升级实例版本或批量 流水线。

将 Cloud Data Fusion 实例和批处理流水线升级到最新版本 平台和插件版本，提供最新功能、bug 修复和性能 改进。

准备工作

  • 为升级计划安排的停机时间。 该过程最多需要一个小时。

  • 在 Google Cloud 控制台中，激活 Cloud Shell。

    激活 Cloud Shell

限制

  • 创建 Cloud Data Fusion 实例后，您便无法更改其 甚至可以通过升级操作。

  • 不支持升级实时流水线（创建的流水线除外） 具有 Kafka 实时源的 6.8.0 版。有关解决方法，请参阅 升级实时流水线。

  • Cloud Data Fusion 不会重启因以下原因停止的流水线 升级操作

升级 Cloud Data Fusion 实例

将 Cloud Data Fusion 实例升级到新的 Cloud Data Fusion 版本，请转到实例详情页面：

  1. 在 Google Cloud 控制台中，转到 Cloud Data Fusion 页面。

  2. 点击实例，然后点击相应实例的名称以转到实例详情页面。

    转到实例

然后使用 Google Cloud 控制台或 gcloud CLI：

控制台

  1. 点击升级以获取可用版本的列表。

  2. 选择一个版本。

  3. 点击升级。

  4. 验证升级是否成功：

    1. 刷新实例详情页面。

    2. 点击查看实例以访问已升级的实例， Cloud Data Fusion 网页界面。

    3. 点击菜单栏中的系统管理员。

      新的版本号会显示在页面顶部。

  5. 如需避免在新版本中运行流水线时流水线卡住，请在升级后的实例中授予所需的角色。

gcloud

  1. 如需升级到新的 Cloud Data Fusion 版本，请运行以下命令 从本地终端运行 gcloud CLI 命令 Cloud Shell 会话：

      gcloud beta data-fusion instances update INSTANCE_ID \
    --project=PROJECT_ID \
    --location=LOCATION_NAME \
    --version=AVAILABLE_INSTANCE_VERSION

  2. 按照以下步骤验证升级是否成功：

    1. 在 Google Cloud 控制台中，前往 Cloud Data Fusion 实例页面。

    2. 点击查看实例以访问已升级的实例， Cloud Data Fusion 网页界面。

    3. 点击菜单栏中的 System Admin。

      新的版本号会显示在页面顶部。

  3. 如需避免在新版本中运行流水线时流水线卡住，请在升级后的实例中授予所需的角色。

升级批处理流水线

要升级 Cloud Data Fusion 批处理流水线以使用最新的插件版本，请执行以下操作：

  1. 设置环境变量。

  2. 建议：备份所有流水线。您可以通过以下任一方式备份流水线 两种方法：

    • 请按以下步骤下载 ZIP 文件：

      1. 要触发 ZIP 文件下载，请使用 以下命令：
      echo $CDAP_ENDPOINT/v3/export/apps
      1. 将输出的网址复制到浏览器中。
      2. 解压缩下载的文件，然后确认所有流水线 已导出。流水线按命名空间组织。

    • 使用源代码控制管理备份流水线 (SCM)，在 6.9 版及更高版本中提供。SCM 提供 GitHub 可用于备份流水线

  3. 请按照以下步骤升级流水线：

    1. 创建一个指向 pipeline_upgrade.json 文件的变量， 您将在下一步中创建，以保存流水线列表。

      export PIPELINE_LIST=PATH/pipeline_upgrade.json

      将 PATH 替换为文件的路径。

    2. 使用 。结果以 JSON 格式存储在 $PIPELINE_LIST 文件中。您可以修改此列表以移除 需要升级。

      curl -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/apps -o $PIPELINE_LIST

      将 NAMESPACE_ID 替换为要将 进行升级

    3. 升级 pipeline_upgrade.json 中列出的流水线。插入要升级的流水线的 NAMESPACE_ID。该命令会显示已升级流水线及其升级内容的列表 状态。

      curl -N -H "Authorization: Bearer $(gcloud auth print-access-token)" -H "Content-Type: application/json" ${CDAP_ENDPOINT}/v3/namespaces/NAMESPACE_ID/upgrade --data @$PIPELINE_LIST

      将 NAMESPACE_ID 替换为流水线的命名空间 ID 正在升级的应用

  4. 在新环境中运行流水线时，防止流水线卡住 版本，请在升级后的实例中授予所需的角色。

升级实时流水线

不支持升级实时流水线（在 具有 Kafka 实时源的 6.8.0 版。

对于其他所有操作，您需要执行以下操作：

  1. 停止并导出流水线。
  2. 升级实例。
  3. 将实时流水线导入升级后的实例。

升级以启用复制功能

可在 Cloud Data Fusion 中启用复制 环境。如果您使用的是 6.2.3 版，请升级到 6.3.0，然后升级到最新版本。然后，您就可以启用复制功能了。

为升级后的实例授予角色

升级完成后， Cloud Data Fusion Runner 角色 （roles/datafusion.runner）和 Cloud Storage Admin 角色 (roles/storage.admin) 复制到您的 project。

后续步骤