Cloud Composer 1 | Cloud Composer 2
このページでは、既存の Cloud Composer 1 の DAG、データ、構成の Airflow 2 環境を、Cloud Composer 2（Airflow 2）に移行する方法について説明します。
この移行ガイドでは、スナップショット機能を使用しています。
その他の移行ガイド
| 移行元 | 終了日 | メソッド | ガイド |
|---|---|---|---|
| Cloud Composer 1、Airflow 2 | Cloud Composer 2、Airflow 2 | スナップショットを使用した並列処理 | このガイド（スナップショット） |
| Cloud Composer 1、Airflow 1 | Cloud Composer 2、Airflow 2 | スナップショットを使用した並列処理 | 移行ガイド（スナップショット） |
| Cloud Composer 1、Airflow 2 | Cloud Composer 2、Airflow 2 | 並列処理、手動転送 | 手動移行ガイド |
| Cloud Composer 1、Airflow 1 | Cloud Composer 2、Airflow 2 | 並列処理、手動転送 | 手動移行ガイド |
| Airflow 1 | Airflow 2 | 並列処理、手動転送 | 手動移行ガイド |
準備
スナップショットは Cloud Composer 2 バージョン 2.0.9 以降でサポートされています。Cloud Composer 1 は、1.18.5 で環境スナップショットを保存します。
Cloud Composer では、Cloud Composer 1 から Cloud Composer 2 への移し換え移行がサポートされています。Cloud Composer 1 から Cloud Composer 2 への置き換えアップグレードはできません。
スナップショットをサポートする Airflow データベースの最大サイズは 20 GB です。環境のデータベースが 20 GB を超える場合は、Airflow データベースのサイズを減らします。
ステップ 1: Cloud Composer 1 環境で DAG を一時停止する
重複 DAG の実行を回避するには、スナップショットを保存する前に、Cloud Composer 1 環境ですべての DAG を一時停止します。
次のいずれかのオプションを使用できます。
Airflow ウェブ インターフェースで、[DAG] に移動し、すべての DAG を手動で一時停止します。
composer_dags スクリプトを使用して、すべての DAG を一時停止します。
python3 composer_dags.py --environment COMPOSER_1_ENV \ --project PROJECT_ID \ --location COMPOSER_1_LOCATION \ --operation pause次のように置き換えます。
COMPOSER_1_ENVは、Cloud Composer 1 環境の名前。PROJECT_IDは、プロジェクト ID に置き換えます。COMPOSER_1_LOCATIONは、環境が配置されているリージョン。
ステップ 2: Cloud Composer 1 環境のスナップショットを保存する
Console
環境のスナップショットを作成します。
Google Cloud Console で [環境] ページに移動します。
環境のリストで、ご利用の Cloud Composer 1 環境の名前をクリックします。[環境の詳細] ページが開きます。
[スナップショットを作成] をクリックします。
[スナップショットを作成] ダイアログで [送信] をクリックします。このガイドでは、スナップショットを Cloud Composer 1 環境のバケットに保存しますが、必要に応じて別の場所を選択することもできます。
Cloud Composer によってスナップショットが作成されるまで待ちます。
gcloud
Cloud Composer 1 環境のバケット URI を取得します。
次のコマンドを実行します。
gcloud composer environments describe COMPOSER_1_ENV \ --location COMPOSER_1_LOCATION \ --format="value(config.dagGcsPrefix)"次のように置き換えます。
COMPOSER_1_ENVは、Cloud Composer 1 環境の名前に置き換えます。COMPOSER_1_LOCATIONは、環境が配置されているリージョン。
出力で、
/dagsフォルダを削除します。結果は、Cloud Composer 1 環境のバケットの URI です。たとえば、
gs://us-central1-example-916807e1-bucket/dagsをgs://us-central1-example-916807e1-bucketに変更します。
Cloud Composer 1 環境のスナップショットを作成します。
gcloud beta composer environments snapshots save \ COMPOSER_1_ENV \ --location COMPOSER_1_LOCATION \ --snapshot-location "COMPOSER_1_SNAPSHOTS_FOLDER"次のように置き換えます。
COMPOSER_1_ENVは、Cloud Composer 1 環境の名前。COMPOSER_1_LOCATIONは、Cloud Composer 1 環境が配置されているリージョン。COMPOSER_1_SNAPSHOTS_FOLDERを Cloud Composer 1 環境のバケットの URI に置き換えます。このガイドでは、スナップショットを Cloud Composer 1 環境のバケットに保存しますが、必要に応じて別の場所を選択することもできます。カスタム ロケーションを指定する場合は、両方の環境のサービス アカウントに、指定したロケーションに対する読み取りと書き込みの権限が必要です。
ステップ 3: Cloud Composer 2 環境を作成する
Cloud Composer 2 環境を作成します。想定されるリソース需要を満たす環境プリセットから始めて、後で環境をさらにスケーリングして最適化できます。
構成のオーバーライドと環境変数は、後で Cloud Composer 1 環境のスナップショットを読み込むときに置き換えるため、指定する必要はありません。
ステップ 4: スナップショットを Cloud Composer 2 環境に読み込む
コンソール
スナップショットを Cloud Composer 2 環境に読み込むには:
Google Cloud Console で [環境] ページに移動します。
環境のリストで、ご利用の Cloud Composer 2 環境の名前をクリックします。[環境の詳細] ページが開きます。
[スナップショットを読み込む] をクリックします。
[スナップショットを読み込む] ダイアログで、[参照] をクリックします。
スナップショットを含むフォルダを選択します。このガイドのデフォルト ロケーションを使用する場合、このフォルダは
/snapshotsフォルダ内の Cloud Composer 1 環境バケットにあり、その名前はスナップショット保存オペレーションのタイムスタンプです。例:us-central1-example-916807e1-bucket/snapshots_example-project_us-central1_example-environment/2022-01-05T18-59-00。[読み込む] をクリックし、Cloud Composer によってスナップショットが読み込まれるまで待ちます。
gcloud
Cloud Composer 1 環境のスナップショットを Cloud Composer 2 環境に読み込みます。
gcloud beta composer environments snapshots load \
COMPOSER_2_ENV \
--location COMPOSER_2_LOCATION \
--snapshot-path "SNAPSHOT_PATH"
次のように置き換えます。
COMPOSER_2_ENVは、Cloud Composer 2 環境の名前。COMPOSER_2_LOCATIONは、Cloud Composer 2 環境が配置されているリージョン。SNAPSHOT_PATHを、Cloud Composer 1 環境のバケットの URI の後にスナップショットのパスを付加したものに置き換えます。例:gs://us-central1-example-916807e1-bucket/snapshots/example-project_us-central1_example-environment_2022-01-05T18-59-00
ステップ 5: Cloud Composer 2 環境で DAG の一時停止を解除する
次のいずれかのオプションを使用できます。
Airflow ウェブ インターフェースで、[DAG] に移動し、すべての DAG の一時停止を手動で 1 つずつ解除します。
composer_dags スクリプトを使用して、すべての DAG の一時停止を解除します。
python3 composer_dags.py --environment COMPOSER_2_ENV \ --project PROJECT_ID \ --location COMPOSER_2_LOCATION \ --operation unpause次のように置き換えます。
COMPOSER_2_ENVは、Cloud Composer 2 環境の名前。PROJECT_IDは、プロジェクト ID に置き換えます。COMPOSER_2_LOCATIONは、環境が配置されているリージョン。
ステップ 6: DAG エラーを確認する
Airflow ウェブ インターフェースで、[DAG] に移動し、報告された DAG 構文エラーを確認します。
DAG 実行が正しい時間にスケジュール設定されていることを確認します。
Cloud Composer 2 環境で DAG の実行が発生するのを待ち、成功したかどうかを確認します。DAG の実行が成功した場合は、Cloud Composer 1 環境で一時停止を解除しないでください。解除すると、DAG が Cloud Composer 1 の環境で同じ日時に実行されます。
特定の DAG の実行が失敗した場合は、Cloud Composer 2 で正常に実行されるまで DAG のトラブルシューティングを行います。
ステップ 7: Cloud Composer 2 環境をモニタリングする
すべての DAG と構成を Cloud Composer 2 環境に移行した後、潜在的な問題、失敗した DAG 実行、環境全体の健全性をモニタリングします。
Cloud Composer 2 環境が、十分な時間、問題なく動作している場合は、Cloud Composer 1 環境の削除を検討してください。