Cloud Composer 1 | Cloud Composer 2
このページの手順に沿って DAG のシリアル化を有効または無効にします。
Cloud Composer 環境では、Airflow スケジューラと Airflow ウェブサーバーの両方が DAG を継続的に処理します。DAG のシリアル化を有効にすると、Airflow ウェブサーバーの信頼性とパフォーマンスを向上させることができます。
DAG のシリアル化を有効にすると、スケジューラは DAG ファイルをウェブサーバーに送信する前に処理します。ウェブサーバーは DAG を処理しません。代わりに、シリアル化された DAG を Airflow データベースから読み取ります。このようにして DAG をシリアル化すると、特に多数の DAG を処理する場合に、ウェブサーバーによる CPU とメモリ使用量が削減されます。
始める前に
DAG のシリアル化は、次の Cloud Composer の機能に影響します。
- DAG のシリアル化は、非同期の DAG の読み込みと同時に有効にすることはできません。
- DAG のシリアル化を有効にすると、Cloud Composer のすべての Airflow ウェブサーバー プラグインが無効になります。これは、Airflow オペレータ、センサーなど、スケジューラまたはワーカーのプラグインには影響しません。
DAG のシリアル化を有効にする
既存の環境で、または新しい環境を作成する際に、DAG のシリアル化を有効にできます。
DAG のシリアル化を有効にするには、次の Airflow 構成オプションをオーバーライドします。
セクション | キー | 値 |
---|---|---|
core |
store_serialized_dags |
True |
core |
store_dag_code |
True |
core |
min_serialized_dag_update_interval |
30 |
scheduler |
dag_dir_list_interval |
30 |
min_serialized_dag_update_interval
Airflow 構成オプションは、データベースでシリアル化された DAG を更新する頻度を制御します。dag_dir_list_interval
オプションは、削除された DAG を Airflow データベースから削除する頻度を制御します。更新頻度が高い場合、パフォーマンスが低下する可能性があります。min_serialized_dag_update_interval
と dag_dir_list_interval
を 30 秒に設定することをおすすめします。
DAG のシリアル化の無効化
既存の環境で、または新しい環境を作成する際に、DAG のシリアル化を有効にできます。
DAG のシリアル化を無効にするには、次の Airflow 構成オプションをオーバーライドします。
セクション | キー | 値 |
---|---|---|
core |
store_serialized_dags |
False |
core |
store_dag_code |
False |