覆寫 Airflow 設定選項

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

本頁面說明如何為新舊 Cloud Composer 環境覆寫 Airflow 設定選項。

建立或更新環境時，您可以覆寫 Apache Airflow 設定選項，並使用不同的值。這樣一來，您就能根據需求調整 Airflow 執行個體。

覆寫新環境的 Airflow 設定選項

建立環境時，您可以覆寫 Airflow 設定選項。詳情請參閱「建立環境」。

覆寫現有環境的 Airflow 設定選項

主控台

如要覆寫現有環境的 Airflow 設定選項，請執行下列步驟：

  1. 前往 Google Cloud 控制台的「Environments」頁面。

    前往「環境」

  2. 在環境清單中，按一下環境名稱。 系統隨即會開啟「環境詳細資料」頁面。

  3. 前往「Airflow 設定覆寫」分頁。

  4. 按一下 [編輯]。

  5. 輸入要變更的 Airflow 設定選項的區段、鍵和值。

例如：

區段 鍵 值
webserver dag_orientation RL

gcloud

以下引數會覆寫現有環境的 Airflow 設定選項：

  • --update-airflow-configs 會新增或變更指定的 Airflow 設定覆寫。
  • --remove-airflow-configs 移除指定的 Airflow 設定覆寫。
  • --clear-airflow-configs 會移除所有 Airflow 設定覆寫。
gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --update-airflow-configs=KEY=VALUE,KEY=VALUE,...

取代：

  • 將 ENVIRONMENT_NAME 替換為環境的名稱。
  • LOCATION 改成環境所在的地區。
  • KEY，其中設定區段和選項名稱以連字號分隔，例如 webserver-dag_orientation。
  • VALUE，並填入選項的對應值。

例如：

gcloud composer environments update example-environment \
    --location us-central1 \
    --update-airflow-configs=webserver-dag_default_view=graph,webserver-dag_orientation=RL

API

如要覆寫現有環境的 Airflow 設定選項，請執行下列步驟：

  1. 建構 environments.patch API 要求。

  2. 在這個要求中：

    • 如要以指定選項取代所有現有的 Airflow 設定覆寫，請在 updateMask 參數中指定 config.softwareConfig.airflowConfigOverrides 遮罩。

    • 如要覆寫特定 Airflow 設定選項，請在 updateMask 參數中指定 config.softwareConfig.airflowConfigOverrides.KEY 遮罩。將 KEY 替換為以半形連字號分隔的設定區段和選項名稱，例如 webserver-dag_orientation。

      如要覆寫多個 Airflow 設定選項，請在 updateMask 參數中指定多個遮罩，並以半形逗號分隔。

  3. 要求主體必須包含 Airflow 設定選項清單。如果要取代所有現有覆寫項目，請務必納入要保留的所有覆寫項目。

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "KEY": "VALUE"
      }
    }
  }
}

取代：

  • KEY，其中設定區段和選項名稱以連字號分隔，例如 webserver-dag_orientation。
  • VALUE，並填入選項的對應值。

以下範例會覆寫兩個特定的 Airflow 設定選項：

// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.airflowConfigOverrides.webserver-dag_default_view,
// config.softwareConfig.airflowConfigOverrides.webserver-dag_orientation

{
  "config": {
    "softwareConfig": {
      "airflowConfigOverrides": {
        "webserver-dag_default_view": "graph",
        "webserver-dag_orientation": "RL"
      }
    }
  }
}

Terraform

software_config 區塊中的 airflow_config_overrides 區塊可控制環境的 Airflow 設定選項覆寫：

resource "google_composer_environment" "example" {

config {

    # ... Other environment configuration parameters

    software_config {
      airflow_config_overrides = {
        KEY = "VALUE"
      }
    }
  }
}

取代：

  • KEY，其中設定區段和選項名稱以連字號分隔，例如 webserver-dag_orientation。
  • VALUE，並填入選項的對應值。

範例：

resource "google_composer_environment" "example" {
  provider = google-beta
  name = "example-environment"
  region = "us-central1"

  # ... Other environment configuration parameters

  config {
    software_config {
      airflow_config_overrides = {
        webserver-dag_default_view = "graph"
        webserver-dag_orientation  = "RL"
      }
    }
  }
}

後續步驟