替换 Airflow 配置

Cloud Composer 1 |Cloud Composer 2 |Cloud Composer 3

按照本页面上的说明操作可以替换新环境和现有环境的 Airflow 配置选项。

创建或更新环境时，您可以 覆盖 Apache Airflow 配置选项 不同的值。这样，您便可以根据自己的需求和要求调整 Airflow 实例。

替换新环境的 Airflow 配置选项

您可以在创建环境时替换 Airflow 配置选项。如需了解详情，请参阅创建环境。

替换现有环境的 Airflow 配置选项

控制台

替换现有环境的 Airflow 配置选项：

  1. 在 Google Cloud 控制台中，前往环境页面。

    转到“环境”

  2. 在环境列表中，点击您的环境名称。“环境详情”页面会打开。

  3. 转到 Airflow 配置替换标签页。

  4. 点击修改。

  5. 输入要更改的 Airflow 配置选项的节、键和值。

例如：

节 键 值
webserver dag_orientation RL

gcloud

以下参数会替换现有 Airflow 配置选项 环境：

  • --update-airflow-configs 用于添加或更改指定的 Airflow 配置 替换。
  • --remove-airflow-configs 移除指定的 Airflow 配置 替换。
  • --clear-airflow-configs 会移除所有 Airflow 配置替换。
gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --update-airflow-configs=KEY=VALUE,KEY=VALUE,...

您需要将其中的：

  • ENVIRONMENT_NAME 替换为环境的名称。
  • LOCATION 替换为环境所在的区域。
  • KEY 替换为配置节和选项名称（两者用连字符分隔），例如 webserver-dag_orientation。
  • VALUE 替换为选项的相应值。

例如：

gcloud composer environments update example-environment \
    --location us-central1 \
    --update-airflow-configs=webserver-dag_default_view=graph,webserver-dag_orientation=RL

API

如需替换现有环境的 Airflow 属性，请执行以下操作：

  1. 构建 environments.patch API 请求。

  2. 在此请求中：

    • 如需将所有现有 Airflow 配置替换替换为指定的选项，请在 updateMask 参数中指定 config.softwareConfig.airflowConfigOverrides 掩码。

    • 如需替换特定 Airflow 配置选项，请在 updateMask 参数中指定 config.softwareConfig.airflowConfigOverrides.KEY 掩码。将 KEY 替换为配置节和选项名称（两者用连字符分隔），例如 webserver-dag_orientation。

      如果您希望替换多个 Airflow 配置选项，请在 updateMask 参数中指定多个以英文逗号分隔的掩码。

  3. 请求正文必须包含 Airflow 配置选项列表。 如果要替换所有现有替换项，请务必包括要保留的所有替换项。

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "KEY": "VALUE"
      }
    }
  }
}

您需要将其中的：

  • KEY 替换为配置节和选项名称（两者用连字符分隔），例如 webserver-dag_orientation。
  • VALUE 替换为选项的相应值。

以下示例将替换两个特定的 Airflow 配置选项：

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.airflowConfigOverrides.webserver-dag_default_view,
// config.softwareConfig.airflowConfigOverrides.webserver-dag_orientation

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "webserver-dag_default_view": "graph",
        "webserver-dag_orientation": "RL"
      }
    }
  }
}

Terraform

software_config 块中的 airflow_config_overrides 块可控制环境的 Airflow 配置替换项：

resource "google_composer_environment" "example" {

config {

    # ... Other environment configuration parameters

    software_config {
      airflow_config_overrides = {
        KEY = "VALUE"
      }
    }
  }
}

您需要将其中的：

  • KEY 替换为配置节和选项名称（两者用连字符分隔），例如 webserver-dag_orientation。
  • VALUE 替换为选项的相应值。

示例：

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  # ... Other environment configuration parameters

  config {
    software_config {
      airflow_config_overrides = {
        webserver-dag_default_view = "graph"
        webserver-dag_orientation  = "RL"
      }
    }
  }
}

后续步骤