DAG のシリアル化の有効化と無効化

このページの手順に沿って DAG のシリアル化を有効または無効にします。

Cloud Composer 環境では、Airflow スケジューラと Airflow ウェブサーバーの両方が DAG を継続的に処理します。DAG のシリアル化を有効にすると、Airflow ウェブサーバーの信頼性とパフォーマンスを向上させることができます。

DAG のシリアル化を有効にすると、スケジューラは DAG ファイルをウェブサーバーに送信する前に処理します。ウェブサーバーは DAG を処理しません。代わりに、シリアル化された DAG を Airflow データベースから読み取ります。この方法で DAG をシリアル化すると、特に多数の DAG を処理する際に、ウェブサーバーの CPU とメモリの使用量が削減されます。

始める前に

DAG のシリアル化は、次の Cloud Composer の機能に影響します。

  • DAG のシリアル化は、非同期の DAG の読み込みと同時に有効にすることはできません。
  • DAG のシリアル化を有効にすると、Cloud Composer のすべての Airflow ウェブサーバー プラグインが無効になります。これは、Airflow オペレータ、センサーなど、スケジューラまたはワーカーのプラグインには影響しません。

DAG のシリアル化を有効にする

既存の環境で、または新しい環境を作成する際に、DAG のシリアル化を有効にできます。

DAG のシリアル化を有効にするには、次の Airflow 構成オプションをオーバーライドします。

セクション キー
core store_serialized_dags True
core store_dag_code True
core min_serialized_dag_update_interval 30
scheduler dag_dir_list_interval 30

min_serialized_dag_update_interval Airflow 構成オプションは、データベース内のシリアル化された DAG の更新頻度を制御します。dag_dir_list_interval オプションは、Airflow データベースから削除される DAG を削除する頻度を制御します。更新頻度が高いと、パフォーマンスに悪影響が出る可能性があります。min_serialized_dag_update_intervaldag_dir_list_interval は 30 秒に設定することをおすすめします。

DAG のシリアル化の無効化

既存の環境で、または新しい環境を作成する際に、DAG のシリアル化を有効にできます。

DAG のシリアル化を無効にするには、次の Airflow 構成オプションをオーバーライドします。

セクション キー
core store_serialized_dags False
core store_dag_code False