更新和删除环境

本页面介绍如何更新、删除和查看 Cloud Composer 环境的详细信息。其中还介绍了如何更新和查看环境的 Apache Airflow 配置。

准备工作

  • 要更新或删除环境,您需要具备以下权限:

    • composer.environments.update:用于更新环境
    • composer.environments.delete:用于删除环境

      如需了解详情,请参阅 Cloud Composer 访问权限控制

  • 大多数 gcloud composer 命令都需要指定一个位置。要指定此位置,您可以使用 --location 标志,也可以设置默认位置

  • 某些 Airflow 参数已针对 Cloud Composer 进行了预配置,不得更改。您可以更新以下 Cloud Composer 环境配置:节点数,Airflow 配置替换、环境变量、标签和 PyPI 软件包。

  • 在更新请求提交后 5 分钟左右,Airflow 配置更新会应用于所有 Airflow 实例(工作器、服务器、调度器)。

限制

Cloud Composer 不接受并发环境更新或删除请求。您必须等待一个环境更新或删除请求完成之后,才能发出另一个环境更新或删除请求。

更新环境

要更新 Cloud Composer 环境(包括 Airflow 配置),请执行以下操作:

Console

  1. 打开 Google Cloud Platform 中的环境页面。

    打开“环境”页面

  2. 点击要修改的环境的名称

  3. 选择与要更新的属性对应的标签页。

  4. 点击修改

  5. 完成更新后,点击提交

gcloud

要更新 Airflow 配置,请运行带有 --update-airflow-configs 标志的 gcloud composer environments update 命令:

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --update-airflow-configs=KEY=VALUE,KEY=VALUE,... 

其中:

  • ENVIRONMENT_NAME 是环境的名称。
  • LOCATION 是环境所在的 Compute Engine 区域。
  • KEY=VALUE 由配置节和属性名(二者用连字符分隔,例如 core-print_stats_interval)及相应属性值组成。

例如:

gcloud composer environments update test-environment \
    --location us-central1 \
    --update-airflow-configs=core-load_example=True,webserver-dag_orientation=TB 

如需查看其他示例,请参阅“gcloud composer environments update”参考页面。

API

要使用 Cloud Composer REST API 更新 Cloud Composer 环境(包括 Airflow 配置),请发出 environments.patch API 请求。

恢复默认 Airflow 配置

要恢复所有默认 Airflow 配置值,请使用以下命令:

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --clear-airflow-configs

要恢复一个或多个默认 Airflow 配置值,请使用以下命令:

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --remove-airflow-configs=core-load_example,webserver-dag_orientation 

其中:

  • ENVIRONMENT_NAME 是环境的名称。
  • LOCATION 是环境所在的 Compute Engine 区域。

例如:

gcloud composer environments update test-environment \
    --location us-central1 \
    --update-airflow-configs=core-load_example=True,webserver-dag_orientation=TB 

操作完成后,该命令即终止。使用 --async 标志可避免等待。

查看环境详情

要查看 Cloud Composer 环境详情(包括 Airflow 配置),请执行以下操作:

Console

  1. 打开 GCP Console 中的环境页面。

    打开“环境”页面

  2. 点击相应环境的名称
  3. 选择适当的属性标签页。

gcloud

gcloud composer environments describe ENVIRONMENT_NAME \
    --location LOCATION
    --format="get(PROPERTY)"

其中:

  • ENVIRONMENT_NAME 是环境的名称。
  • LOCATION 是环境所在的 Compute Engine 区域。
  • --format 是一个选项,用于指定环境属性,例如 config.airflowUri(表示 Airflow Web 服务器网址)。

例如:

gcloud composer environments describe test-environment 
--location us-central1 --format="get(config.airflowUri)"

# Returns https://a6b3z6e3nnZZZnnd3a-tp.appspot.com

API

要使用 Cloud Composer REST API 查看 Airflow 配置,请发出 environments.get API 请求,并填写环境 ID。

升级机器类型

您可以手动为环境的 GKE 集群升级机器类型,方法是创建新的托管实例组模板,并更新环境的 GKE 集群中的实例。

要升级机器类型,请执行以下操作:

  1. 在 GCP Console 中,点击要升级的环境的名称
  2. 按以下方式查找当前实例组模板:
    1. 环境详情页面上,点击 GKE 集群 ID (GKE cluster ID) 链接。
    2. 在“集群”页面的节点池部分,记下该实例组的名称,然后点击其链接。
    3. 实例组页面的成员下方,点击“模板”链接。随即会显示实例模板页面。
  3. 按如下所述创建新的实例组模板:
    1. 实例模板页面上,点击创建类似模板
    2. 创建实例模板页面上,为新模板指定一个名称。
    3. 机器类型下,选择机器类型,然后点击创建。新模板即会显示在实例模板页面上的列表中。
  4. 按以下方式更新环境集群中的实例:
    1. Compute Engine > 实例组页面上,点击您之前记下的实例组的名称
    2. 点击滚动更新
    3. 模板下,选择您已创建的新模板。
    4. 点击更新

删除环境

要删除 Cloud Composer 环境,请执行以下操作:

Console

  1. 打开 GCP Console 中的环境页面。

    打开“环境”页面

  2. 选中要删除的环境旁边的复选框。
  3. 点击删除

gcloud

运行以下命令来删除 Cloud Composer 环境:

gcloud composer environments delete ENVIRONMENT_NAME \
    --location LOCATION   

其中:

  • ENVIRONMENT_NAME 是环境的名称。
  • LOCATION 是环境所在的 Compute Engine 区域。

运行 gcloud composer environments describe --help 可获取命令参数信息。

API

要使用 Cloud Composer REST API 删除环境,请发出 environments.delete API 请求,并填写环境 ID。

后续步骤

此页内容是否有用?请给出您的反馈和评价:

发送以下问题的反馈:

此网页
Cloud Composer