Cloud Composer 1 はメンテナンス後のモードです。Google は、Airflow の新しいバージョン、バグの修正、セキュリティアップデートなど、Cloud Composer 1 への今後のアップデートはリリースしません。 Cloud Composer 2 への移行を計画することをおすすめします。

DAG シリアル化の有効化と無効化

Cloud Composer 1 | Cloud Composer 2

このページの手順に沿って DAG のシリアル化を有効または無効にします。

Cloud Composer 環境では、Airflow スケジューラと Airflow ウェブサーバーの両方が DAG を継続的に処理します。DAG のシリアル化を有効にすると、Airflow ウェブサーバーの信頼性とパフォーマンスを向上させることができます。

DAG のシリアル化を有効にすると、スケジューラは DAG ファイルをウェブサーバーに送信する前に処理します。ウェブサーバーは DAG を処理しません。代わりに、シリアル化された DAG を Airflow データベースから読み取ります。このようにして DAG をシリアル化すると、特に多数の DAG を処理する場合に、ウェブサーバーによる CPU とメモリ使用量が削減されます。

始める前に

DAG のシリアル化は、次の Cloud Composer の機能に影響します。

DAG のシリアル化は、非同期の DAG の読み込みと同時に有効にすることはできません。
DAG のシリアル化を有効にすると、Cloud Composer のすべての Airflow ウェブサーバープラグインが無効になります。これは、Airflow オペレータ、センサーなど、スケジューラまたはワーカーのプラグインには影響しません。

DAG のシリアル化を有効にする

既存の環境で、または新しい環境を作成する際に、DAG のシリアル化を有効にできます。

DAG のシリアル化を有効にするには、次の Airflow 構成オプションをオーバーライドします。

セクション	キー	値
`core`	`store_serialized_dags`	`True`
`core`	`store_dag_code`	`True`
`core`	`min_serialized_dag_update_interval`	`30`
`scheduler`	`dag_dir_list_interval`	`30`

min_serialized_dag_update_interval Airflow 構成オプションは、データベースでシリアル化された DAG を更新する頻度を制御します。dag_dir_list_interval オプションは、削除された DAG を Airflow データベースから削除する頻度を制御します。更新頻度が高い場合、パフォーマンスが低下する可能性があります。min_serialized_dag_update_interval と dag_dir_list_interval を 30 秒に設定することをおすすめします。

DAG のシリアル化の無効化

既存の環境で、または新しい環境を作成する際に、DAG のシリアル化を有効にできます。

DAG のシリアル化を無効にするには、次の Airflow 構成オプションをオーバーライドします。

セクション	キー	値
`core`	`store_serialized_dags`	`False`
`core`	`store_dag_code`	`False`