Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
このページでは、新しい Cloud Composer 環境と既存の Cloud Composer 環境で Airflow 構成オプションをオーバーライドする方法について説明します。
環境を作成または更新する際は、異なる値で Apache Airflow の構成オプションをオーバーライドできます。そのように処理することで、Airflow インスタンスをニーズと要件に合わせて調整できます。
新しい環境の Airflow 構成オプションをオーバーライドする
環境の作成時に Airflow 構成オプションをオーバーライドできます。詳細については、環境の作成をご覧ください。
既存の環境の Airflow 構成オプションをオーバーライドする
コンソール
既存の環境の Airflow 構成オプションをオーバーライドするには:
Google Cloud Console で [環境] ページに移動します。
環境のリストで、ご利用の環境の名前をクリックします。[環境の詳細] ページが開きます。
[Airflow 構成のオーバーライド] タブに移動します。
[編集] をクリックします。
変更する Airflow 構成オプションの [セクション]、[キー]、[値] を入力します。
次に例を示します。
セクション | キー | 値 |
---|---|---|
webserver |
dag_orientation |
RL |
gcloud
次の引数は、既存の環境の Airflow 構成オプションをオーバーライドします。
--update-airflow-configs
は、指定された Airflow 構成のオーバーライドを追加または変更します。--remove-airflow-configs
は、指定された Airflow 構成のオーバーライドを削除します。--clear-airflow-configs
は Airflow 構成のオーバーライドをすべて削除します。
gcloud composer environments update ENVIRONMENT_NAME \
--location LOCATION \
--update-airflow-configs=KEY=VALUE,KEY=VALUE,...
以下のように置き換えます。
ENVIRONMENT_NAME
を環境の名前にする。LOCATION
は、環境が配置されているリージョン。KEY
は、ハイフンで区切られた構成セクションとオプション名(例:webserver-dag_orientation
)に置き換えます。VALUE
はオプションの対応する値に置き換えます。
次に例を示します。
gcloud composer environments update example-environment \
--location us-central1 \
--update-airflow-configs=webserver-dag_default_view=graph,webserver-dag_orientation=RL
API
既存の環境の Airflow プロパティをオーバーライドするには、次の手順を行います。
environments.patch
API リクエストを作成します。このリクエストで次のように操作します。
既存の Airflow 構成のオーバーライドをすべて指定したオプションに置き換えるには、
updateMask
パラメータでconfig.softwareConfig.airflowConfigOverrides
マスクを指定します。特定の Airflow 構成オプションをオーバーライドするには、
updateMask
パラメータでconfig.softwareConfig.airflowConfigOverrides.KEY
マスクを指定します。KEY
は、ハイフンで区切られた構成セクションとオプション名(例:webserver-dag_orientation
)に置き換えます。複数の Airflow 構成オプションをオーバーライドする場合は、
updateMask
パラメータで、複数のマスクをカンマで区切って指定します。
リクエストの本文には Airflow 構成オプションのリストを含める必要があります。既存のオーバーライドをすべて置き換える場合は、保持するすべてのオーバーライドを含める必要があります。
{
"config": {
"softwareConfig": {
"airflowConfigOverrides": {
"KEY": "VALUE"
}
}
}
}
以下のように置き換えます。
KEY
は、ハイフンで区切られた構成セクションとオプション名(例:webserver-dag_orientation
)に置き換えます。VALUE
はオプションの対応する値に置き換えます。
次の例は、2 つの特定の Airflow 構成オプションをオーバーライドします。
// PATCH https://composer.googleapis.com/v1/projects/example-project/
// locations/us-central1/environments/example-environment?updateMask=
// config.softwareConfig.airflowConfigOverrides.webserver-dag_default_view,
// config.softwareConfig.airflowConfigOverrides.webserver-dag_orientation
{
"config": {
"softwareConfig": {
"airflowConfigOverrides": {
"webserver-dag_default_view": "graph",
"webserver-dag_orientation": "RL"
}
}
}
}
Terraform
software_config
ブロックの airflow_config_overrides
ブロックでは、環境の Airflow 構成のオーバーライドを制御します。
resource "google_composer_environment" "example" {
config {
# ... Other environment configuration parameters
software_config {
airflow_config_overrides = {
KEY = "VALUE"
}
}
}
}
以下のように置き換えます。
KEY
は、ハイフンで区切られた構成セクションとオプション名(例:webserver-dag_orientation
)に置き換えます。VALUE
はオプションの対応する値に置き換えます。
例:
resource "google_composer_environment" "example" {
provider = google-beta
name = "example-environment"
region = "us-central1"
# ... Other environment configuration parameters
config {
software_config {
airflow_config_overrides = {
webserver-dag_default_view = "graph"
webserver-dag_orientation = "RL"
}
}
}
}