環境の更新と削除

このページでは、Cloud Composer 環境の更新、削除、詳細の表示方法について説明します。また、環境の Apache Airflow 構成を更新、表示する方法についても説明します。

始める前に

  • 環境を更新または削除するには次の権限が必要になります。

    • composer.environments.update(環境を更新するために使用します)
    • composer.environments.delete(環境を削除するために使用します)

      詳細については、Cloud Composer のアクセス制御をご覧ください。

  • 大部分の gcloud composer コマンドでは、ロケーションを指定する必要があります。--location フラグを使用するかデフォルトのロケーションを設定することでロケーションを指定できます。

  • いくつかの Airflow パラメータは Cloud Composer 用に事前構成されていて、変更できません。ノード数、Airflow 構成のオーバーライド、環境変数、ラベル、PyPI パッケージといった Cloud Composer 環境構成は更新できます。

  • 一部の環境更新では、パッケージのインストールやバージョンのアップグレードなど、Cloud Composer のイメージが再構築されます。Cloud Composer のガベージ コレクションで古いイメージを削除できます。

  • Airflow 構成の更新は、更新リクエストを送信してから約 5 分後に、すべての Airflow インスタンス(ワーカー、サーバー、スケジューラ)で有効になります。

制限事項

Cloud Composer は、環境の更新リクエストや削除リクエストの同時実行は受け付けません。環境の更新リクエストや削除リクエストを発行する際は、前の更新リクエストまたは削除リクエストが完了するまで待機する必要があります。

環境の更新

Airflow 構成を含む Cloud Composer 環境を更新するには、次の手順を行います。

Console

  1. Google Cloud で [環境] ページを開きます。

    [環境] ページを開く

  2. 変更する環境の [名前] をクリックします。

  3. 更新するプロパティに対応するタブを選択します。

  4. [編集] をクリックします。

  5. 更新の編集が終わったら、[送信] をクリックします。

gcloud

Airflow の構成を更新するには、--update-airflow-configs フラグを指定して gcloud composer environments update コマンドを実行します。

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --update-airflow-configs=KEY=VALUE,KEY=VALUE,... 

ここで

  • ENVIRONMENT_NAME は、環境の名前です。
  • LOCATION は、環境が配置される Compute Engine のリージョンです。
  • KEY=VALUE は、ハイフンで区切られた構成のセクションとプロパティ名(core-print_stats_interval など)とそれに対応する値です。

例:

gcloud composer environments update test-environment \
    --location us-central1 \
    --update-airflow-configs=core-load_example=True,webserver-dag_orientation=TB 

その他の例については、gcloud composer 環境の更新リファレンス ページをご覧ください。

API

Cloud Composer REST API を使用して、Airflow 構成を含む Cloud Composer 環境を更新するには、environments.patch API リクエストを発行します。

デフォルトの Airflow 構成の復元

デフォルトの Airflow 構成の値をすべて復元するには、次のコマンドを実行します。

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --clear-airflow-configs

1 つ以上のデフォルトの Airflow 構成の値を復元するには、次のコマンドを実行します。

gcloud composer environments update ENVIRONMENT_NAME \
    --location LOCATION \
    --remove-airflow-configs=core-load_example,webserver-dag_orientation 

ここで

  • ENVIRONMENT_NAME は、環境の名前です。
  • LOCATION は、環境が配置される Compute Engine のリージョンです。

例:

gcloud composer environments update test-environment \
    --location us-central1 \
    --update-airflow-configs=core-load_example=True,webserver-dag_orientation=TB 

オペレーションが完了すると、コマンドは終了します。待機しないようにするには、--async フラグを指定してください。

環境の詳細の表示

Airflow 構成を含む Cloud Composer 環境の詳細を表示するには、次の手順を行います。

Console

  1. Google Cloud Console で [環境] ページを開きます。

    [環境] ページを開く

  2. 環境の [名前] をクリックします。
  3. 適切なプロパティタブを選択します。

gcloud

gcloud composer environments describe ENVIRONMENT_NAME \
    --location LOCATION
    --format="get(PROPERTY)"

ここで

  • ENVIRONMENT_NAME は、環境の名前です。
  • LOCATION は、環境が配置される Compute Engine のリージョンです。
  • --format は、Airflow ウェブサーバーの URL に config.airflowUri などの環境プロパティを指定するためのオプションです。

例:

gcloud composer environments describe test-environment 
--location us-central1 --format="get(config.airflowUri)"

# Returns https://a6b3z6e3nnZZZnnd3a-tp.appspot.com

API

Cloud Composer REST API を使用して Airflow 構成を表示するには、環境 ID を入力して environments.get API リクエストを作成します。

マシンタイプのアップグレード

既存の default-pool を削除し、必要なマシンタイプで新しい default-pool を作成することで、環境の GKE クラスタのマシンタイプを手動でアップグレードできます。

マシンタイプをアップグレードするには、次の手順を行います。

  1. Cloud Console で、アップグレードする環境の名前をクリックします。
  2. デフォルトのノードプールを表示するには:
    1. 環境の詳細ページで、[クラスタの詳細を表示] リンクをクリックします。
    2. [ノードプール] セクションの [クラスタ] ページで、[default-pool] をクリックします。
    3. ノードプールの詳細ページの [default-pool] のすべての情報を確認します。 この情報を使用して、環境用の新しいデフォルトのノードプールを作成します。
  3. default-pool を削除するには:
    1. ノードプールの詳細ページで、戻る矢印をクリックして環境の [クラスタ] ページに戻ります。
    2. [ノードプール] セクションで、[default-pool] の右側にあるゴミ箱をクリックします。
    3. [削除] をクリックして確定します。
  4. 新しい default-pool を作成するには:

    1. [クラスタ] ページ上部にある [ノードプールを追加] をクリックします。
    2. [名前] に「default-pool」と入力します。ノードプールに「default-pool」という名前を付けなければ、ワークフローは失敗します。
    3. サイズとノードの設定を入力します。
    4. [アクセス スコープ] では、[すべての Cloud API に完全アクセス権を許可] を選択します。
    5. [保存] をクリックします。
  5. ワークロードが均等に分散されていない場合は、Airflow ワーカーのデプロイをゼロまでスケールダウンしてから、もう一度スケールアップします。

環境の削除

Cloud Composer 環境を削除するには、次の手順を行います。

Console

  1. Google Cloud Console で [環境] ページを開きます。

    [環境] ページを開く

  2. 削除する環境の横にあるチェックボックスをオンにします。
  3. [削除] をクリックします。

gcloud

次のコマンドを実行して Cloud Composer 環境を削除します。

gcloud composer environments delete ENVIRONMENT_NAME \
    --location LOCATION   

ここで

  • ENVIRONMENT_NAME は、環境の名前です。
  • LOCATION は、環境が配置される Compute Engine のリージョンです。

コマンド パラメータ情報に応じて、gcloud composer environments describe --help を実行します。

API

Cloud Composer REST API を使用して環境を削除するには、環境 ID を入力して、environments.delete API リクエストを作成します。

次のステップ