DAG シリアル化の有効化と無効化

Cloud Composer 1 | Cloud Composer 2

このページの手順に沿って DAG のシリアル化を有効または無効にします。

Cloud Composer 環境では、Airflow スケジューラと Airflow ウェブサーバーの両方が DAG を継続的に処理します。DAG のシリアル化を有効にすると、Airflow ウェブサーバーの信頼性とパフォーマンスを向上させることができます。

DAG のシリアル化を有効にすると、スケジューラは DAG ファイルをウェブサーバーに送信する前に処理します。ウェブサーバーは DAG を処理しません。代わりに、シリアル化された DAG を Airflow データベースから読み取ります。このようにして DAG をシリアル化すると、特に多数の DAG を処理する場合に、ウェブサーバーによる CPU とメモリ使用量が削減されます。

始める前に

DAG のシリアル化は、次の Cloud Composer の機能に影響します。

  • DAG のシリアル化は、非同期の DAG の読み込みと同時に有効にすることはできません。
  • DAG のシリアル化を有効にすると、Cloud Composer のすべての Airflow ウェブサーバー プラグインが無効になります。これは、Airflow オペレータ、センサーなど、スケジューラまたはワーカーのプラグインには影響しません。

DAG のシリアル化を有効にする

既存の環境で、または新しい環境を作成する際に、DAG のシリアル化を有効にできます。

DAG のシリアル化を有効にするには、次の Airflow 構成オプションをオーバーライドします。

セクション キー 値
core store_serialized_dags True
core store_dag_code True
core min_serialized_dag_update_interval 30
scheduler dag_dir_list_interval 30

min_serialized_dag_update_interval Airflow 構成オプションは、データベースでシリアル化された DAG を更新する頻度を制御します。dag_dir_list_interval オプションは、削除された DAG を Airflow データベースから削除する頻度を制御します。更新頻度が高い場合、パフォーマンスが低下する可能性があります。min_serialized_dag_update_interval と dag_dir_list_interval を 30 秒に設定することをおすすめします。

DAG のシリアル化の無効化

既存の環境で、または新しい環境を作成する際に、DAG のシリアル化を有効にできます。

DAG のシリアル化を無効にするには、次の Airflow 構成オプションをオーバーライドします。

セクション キー 値
core store_serialized_dags False
core store_dag_code False