Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
このページでは、DAG、データ、構成を既存の Cloud Composer 2 環境から Cloud Composer 3 に移行する方法について説明します。
始める前に
この移行ガイドでは、スナップショットを使用しています。スナップショットは、Cloud Composer 2 バージョン 2.0.9 以降でサポートされています。
Cloud Composer では、Cloud Composer 2 から Cloud Composer 3 への移し換え移行がサポートされています。Cloud Composer 2 から Cloud Composer 3 への置き換えアップグレードはできません。
Cloud Composer 2 と Cloud Composer 3 の相違点の一覧を確認してください。環境で、Cloud Composer 3 のパブリック プレビューで使用できない機能が使用されていないことを確認します。
スナップショットをサポートする Airflow データベースの最大サイズは 20 GB です。環境のデータベースが 20 GB を超える場合は、Airflow データベースのサイズを縮小します。
スナップショットを作成するには、環境のバケット内の
/dags、/plugins、/dataフォルダ内のオブジェクトの合計数が 100,000 未満にする必要があります。XCom メカニズムを使用してファイルを転送する場合は、Airflow のガイドラインに従って使用するようにしてください。XCom を使用して大きなファイルや大量のファイルを転送すると、Airflow データベースのパフォーマンスに影響し、スナップショットの読み込みや環境のアップグレード時に障害が発生する可能性があります。大量のデータを転送するには、Cloud Storage などの代替手段の使用を検討してください。
DAG が Cloud Composer 3 と互換性があることを確認する
次の推奨事項に従って、DAG が Cloud Composer 3 と互換性があることを確認します。
Cloud Composer 3 環境のパッケージのリストは、Cloud Composer 2 環境のものとは異なる場合があります。これは、DAG と Cloud Composer 3 の互換性に影響する可能性があります。
Cloud Composer は、構成のオーバーライド、環境変数、PyPI パッケージを Cloud Composer 2 環境のスナップショットから Cloud Composer 3 に読み込みます。互換性のために変更または調整する必要はありません。カスタム PyPI パッケージによって依存関係に競合が生じる場合は、スナップショットを読み込むときにインストールをスキップできます。
Cloud Composer 3 では、環境のクラスタはテナント プロジェクトに配置されています。DAG がこの変更と互換性があることを確認してください。特に、
KubernetesPodOperatorワークロードは環境から独立してスケーリングされるため、Pod アフィニティ構成は使用できません。Cloud Composer 3 では、Airflow データベースに直接アクセスすることはできません。DAG がこの変更と互換性があることを確認してください。
Cloud Composer 2 環境で DAG を一時停止する
DAG の重複実行を回避するには、スナップショットを保存する前に、Cloud Composer 2 環境内のすべての DAG を一時停止します。ライブネス モニタリング DAG（airflow_monitoring）はスキップします。これはモニタリングに使用され、環境スナップショットには含まれません。
次のいずれかのオプションを使用して、DAG を一時停止できます。
Google Cloud コンソールで DAG を 1 つずつ一時停止します。
Google Cloud コンソールで [環境] ページに移動します。
詳細を表示する環境を選択します。
[環境の詳細] ページで、[DAG] タブに移動します。
DAG の名前をクリックします。
[DAG の詳細] ページで、[DAG の一時停止] をクリックします。
Airflow ウェブ インターフェースで、[DAG] に移動し、すべての DAG を手動で一時停止します。
composer_dags スクリプトを使用して、すべての DAG を一時停止します。
python3 composer_dags.py --environment COMPOSER_2_ENV \ --project PROJECT_ID \ --location COMPOSER_2_LOCATION \ --operation pause以下のように置き換えます。
COMPOSER_2_ENVは、Cloud Composer 2 環境の名前。PROJECT_IDは、プロジェクト ID に置き換えます。COMPOSER_2_LOCATIONは、環境が配置されているリージョン。
Cloud Composer 2 環境のスナップショットを保存する
コンソール
環境のスナップショットを作成します。
Google Cloud Console で [環境] ページに移動します。
環境のリストで、ご利用の Cloud Composer 2 環境の名前をクリックします。[環境の詳細] ページが開きます。
[スナップショットを作成] をクリックします。
[スナップショットを作成] ダイアログで、[送信] をクリックします。このガイドでは、Cloud Composer 2 環境のバケットにスナップショットを保存しますが、必要に応じて別の場所を選択することもできます。カスタム ロケーションを指定する場合は、両方の環境のサービス アカウントには、指定したロケーションに対する読み取りと書き込みの権限が必要です。
Cloud Composer がスナップショットを作成するまで待ちます。
スナップショットが作成されると、表示されたメッセージにスナップショットの場所が出力されます。後でこのスナップショットを Cloud Composer 3 環境に読み込むときに使用するために、この情報を保存します。
たとえば、スナップショットの場所は
gs://us-central1-example-916807e1-bucket/snapshots/snapshots_example-project_us-central1_example-environment/2024-05-15T15-23-12のようになります。
gcloud
Cloud Composer 2 環境のスナップショットを作成します。
gcloud composer environments snapshots save \ COMPOSER_2_ENV \ --location COMPOSER_2_LOCATION以下のように置き換えます。
COMPOSER_2_ENVは、Cloud Composer 2 環境の名前。COMPOSER_2_LOCATIONは、Cloud Composer 2 環境が配置されているリージョン。（省略可）
--snapshot-location引数を使用して、環境のスナップショットを保存する必要があるカスタム ロケーションを指定できます。このガイドでは、Cloud Composer 2 環境のバケットにスナップショットを保存しますが、必要に応じて別の場所を選択することもできます。カスタム ロケーションを指定する場合は、両方の環境のサービス アカウントに、指定したロケーションに対する読み取りと書き込みの権限が必要です。
スナップショットが作成されると、表示されたメッセージにスナップショットの場所が出力されます。後でこのスナップショットを Cloud Composer 3 環境に読み込むときに使用するために、この情報を保存します。
たとえば、スナップショットの場所は
gs://us-central1-example-916807e1-bucket/snapshots/snapshots_example-project_us-central1_example-environment/2024-05-15T15-23-12のようになります。
Cloud Composer 3 環境を作成する
次のガイドラインを使用して、Cloud Composer 3 環境を作成します。
Cloud Composer 2 環境と同じリソース上限構成から始めて、後でスケーリングして構成をさらに最適化できます。
Cloud Composer 3 環境では、Airflow DAG プロセッサは個別の環境コンポーネントとして実行されます。DAG プロセッサはスケジューラから DAG の解析をオフロードするため、以前に Airflow スケジューラに割り振られたリソースを再分配することをおすすめします。これは、Cloud Composer 3 に移行した後にスケジューラと DAG プロセッサのパフォーマンスをモニタリングした後に行うことができます。
Cloud Composer 3 では、Cloud Composer 2 よりも合理的で簡素化されたネットワーク設定が可能です。パブリック IP とプライベート IP のネットワーキング構成を切り替え、VPC ネットワークの接続と切断を行えます。IP 範囲を指定する必要はありません。Cloud Composer 3 環境のネットワーク構成が、対応する Cloud Composer 2 構成と一致することを確認します。
構成のオーバーライドと環境変数は、後で Cloud Composer 2 環境のスナップショットを読み込むときに置き換えるため、指定する必要はありません。
スナップショットを Cloud Composer 3 環境に読み込む
コンソール
スナップショットを Cloud Composer 3 環境に読み込むには:
Google Cloud Console で [環境] ページに移動します。
環境のリストで、ご利用の Cloud Composer 3 環境の名前をクリックします。[環境の詳細] ページが開きます。
[スナップショットを読み込む] をクリックします。
[スナップショットを読み込む] ダイアログで、[参照] をクリックします。
スナップショットのあるフォルダを選択します。
このガイドのデフォルトの場所を使用する場合、このフォルダは
/snapshotsフォルダの Cloud Composer 2 環境バケットにあり、その名前はスナップショット保存オペレーションのタイムスタンプです。スナップショットが正常に作成されたことを示すメッセージには、同じ場所が表示されていました。例:
us-central1-example-916807e1-bucket/snapshots_example-project_us-central1_example-environment/2024-05-15T15-23-12。[読み込む] をクリックし、Cloud Composer によってスナップショットが読み込まれるまで待ちます。
gcloud
Cloud Composer 2 環境のスナップショットを Cloud Composer 3 環境に読み込みます。
gcloud composer environments snapshots load \
COMPOSER_3_ENV \
--location COMPOSER_3_LOCATION \
--snapshot-path "SNAPSHOT_PATH"
以下のように置き換えます。
COMPOSER_3_ENVは、Cloud Composer 3 環境の名前。COMPOSER_3_LOCATIONは、Cloud Composer 3 環境が配置されているリージョン。SNAPSHOT_PATHを、Cloud Composer 2 環境のバケットの URI の後にスナップショットのパスを付加したもの。スナップショットが正常に作成されたことを示すメッセージには、同じ場所が表示されていました。例:gs://us-central1-example-916807e1-bucket/snapshots/example-project_us-central1_example-environment_2024-05-15T15-23-12。
Cloud Composer 3 環境で DAG の一時停止を解除する
次のいずれかのオプションを使用できます。
Google Cloud コンソールで DAG の一時停止を 1 つずつ解除します。
Google Cloud コンソールで [環境] ページに移動します。
詳細を表示する環境を選択します。
[環境の詳細] ページで、[DAG] タブに移動します。
DAG の名前をクリックします。
[DAG の詳細] ページで、[DAG の一時停止を解除] をクリックします。
Airflow ウェブ インターフェースで、[DAG] に移動し、すべての DAG の一時停止を手動で 1 つずつ解除します。
composer_dags スクリプトを使用して、すべての DAG の一時停止を解除します。
python3 composer_dags.py --environment COMPOSER_3_ENV \ --project PROJECT_ID \ --location COMPOSER_3_LOCATION \ --operation unpause以下のように置き換えます。
COMPOSER_3_ENVは、Cloud Composer 3 環境の名前。PROJECT_IDは、プロジェクト ID に置き換えます。COMPOSER_3_LOCATIONは、環境が配置されているリージョン。
DAG エラーを確認する
Airflow ウェブ インターフェースで、[DAG] に移動し、報告された DAG 構文エラーを確認します。
DAG 実行が正しい時間にスケジュール設定されていることを確認します。
Cloud Composer 3 環境で DAG の実行が発生するのを待ち、成功したかどうかを確認します。DAG の実行が成功した場合は、Cloud Composer 2 環境で一時停止を解除しないでください。解除すると、Cloud Composer 2 環境で同じ日時に DAG が実行されます。
特定の DAG の実行が失敗した場合は、Cloud Composer 3 で正常に実行されるまで DAG のトラブルシューティングを行います。
Cloud Composer 3 環境をモニタリングする
すべての DAG と構成を Cloud Composer 3 環境に移行した後、潜在的な問題、失敗した DAG 実行、環境全体の健全性をモニタリングします。
Cloud Composer 3 環境が、十分な時間、問題なく動作している場合は、Cloud Composer 2 環境の削除を検討してください。