Airflow 構成をオーバーライドする

このページの手順に沿って、新しい環境と既存の環境の Airflow 構成オプションをオーバーライドします。

環境を作成または更新する際は、異なる値で Apache Airflow の構成オプションをオーバーライドできます。そのように処理することで、Airflow インスタンスをニーズと要件に合わせて調整できます。

新しい環境の構成をオーバーライドする

コンソール

  1. [環境の作成] ページを開きます。

    [環境の作成] ページを開く

  2. [Airflow 構成のオーバーライド] で、[Airflow 構成のオーバーライドを追加] をクリックします。

  3. 構成の、セクションキー、新しいを入力します。

例:

セクション キー
webserver dag_orientation RL

gcloud

環境を作成する際に Airflow 構成オプションをオーバーライドするには:

gcloud composer environments create ENVIRONMENT_NAME \
    --location LOCATION \
    --airflow-configs=KEY=VALUE,KEY=VALUE,...

以下のように置き換えます。

  • ENVIRONMENT_NAME を環境の名前にする。
  • LOCATION は、環境が配置される Compute Engine のリージョンに置き換えます。
  • KEY は、ハイフンで区切られた構成セクションとオプション名(例: core-print_stats_interval)に置き換えます。
  • VALUE はオプションの対応する値に置き換えます。

次に例を示します。

gcloud composer environments create test-environment \
    --location us-central1 \
    --airflow-configs=core-load_example=True,webserver-dag_orientation=TB 

オペレーションが完了すると、コマンドは終了します。待機しないようにするには、--async フラグを指定してください。その他の例については、gcloud composer 環境作成のリファレンス ページをご覧ください。

API

Cloud Composer REST API を使用して Cloud Composer 環境の作成時に Airflow プロパティをオーバーライドするには:

  1. environments.create リクエストを作成します。
  2. このリクエストの Environment リソースのオプション airflowConfigOverrides フィールドに入力します。

既存の環境の構成をオーバーライドする

コンソール

  1. [環境] ページを開きます。

    [環境] ページを開く

  2. 環境のリストで使用している環境をクリックします。[環境の詳細] ページが開きます
  3. [Airflow 構成のオーバーライド] タブに移動します。
  4. [編集] をクリックします。
  5. 構成の、セクションキー、新しいを入力します。

例:

セクション キー
webserver dag_orientation RL

gcloud

既存の環境の Airflow 構成オプションをオーバーライドするには:

gcloud composer environments update ENVIRONMENT_NAME \
  --location LOCATION \
  --update-airflow-configs=KEY=VALUE,KEY=VALUE,...

以下のように置き換えます。

  • ENVIRONMENT_NAME を環境の名前にする。
  • LOCATION は、環境が配置される Compute Engine のリージョンに置き換えます。
  • KEY は、ハイフンで区切られた構成セクションとオプション名(例: core-print_stats_interval)に置き換えます。
  • VALUE はオプションの対応する値に置き換えます。

次に例を示します。

gcloud composer environments update test-environment \
    --location us-central1 \
    --update-airflow-configs=core-load_examples=True,webserver-dag_orientation=TB 

オペレーションが完了すると、コマンドは終了します。待機しないようにするには、--async フラグを指定してください。その他の例については、gcloud composer 環境の更新リファレンス ページをご覧ください。

API

Cloud Composer REST API を使用して、既存の Cloud Composer 環境の Airflow プロパティをオーバーライドするには:

  1. environments.patch リクエストを作成します。
  2. このリクエストで次のように操作します。

    • 既存のすべての Airflow 構成のオーバーライドを指定のオプションに置き換えるには、updateMask パラメータで config.softwareConfig.airflowConfigOverrides マスクを指定します。
    • 特定の Airflow 構成オプションをオーバーライドするには、updateMask パラメータで config.softwareConfig.airflowConfigOverrides. section-name マスクを指定します。

次のステップ