DAG シリアル化の有効化と無効化

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

このページの手順に沿って DAG のシリアル化を有効または無効にします。

Cloud Composer 環境では、Airflow スケジューラと Airflow ウェブサーバーの両方が DAG を継続的に処理します。DAG のシリアル化を有効にすると、Airflow ウェブサーバーの信頼性とパフォーマンスを向上させることができます。

DAG のシリアル化を有効にすると、ウェブサーバーに送信する前に DAG ファイルをスケジューラに処理させます。ウェブサーバーは DAG を処理しません。代わりに、シリアル化された DAG を Airflow データベースから読み取ります。このようにして DAG をシリアル化すると、特に多数の DAG を処理する場合に、ウェブサーバーによる CPU とメモリ使用量が削減されます。

始める前に

DAG のシリアル化は、次の Cloud Composer 機能に影響します。

  • DAG のシリアル化は、非同期の DAG の読み込みと同時に有効にすることはできません。
  • DAG のシリアル化を有効にすると、Cloud Composer のすべての Airflow ウェブサーバー プラグインが無効になります。これは、Airflow オペレータ、センサーなど、スケジューラまたはワーカーのプラグインには影響しません。

DAG のシリアル化を有効にする

既存の環境で、または新しい環境を作成する際に、DAG のシリアル化を有効にできます。

DAG のシリアル化を有効にするには、次の Airflow 構成オプションをオーバーライドします。

セクション キー 値
core store_serialized_dags True
core store_dag_code True
core min_serialized_dag_update_interval 30
scheduler dag_dir_list_interval 30

Airflow 構成オプション min_serialized_dag_update_interval は、シリアル化された DAG がデータベースで更新される頻度を制御します。dag_dir_list_interval オプションは、削除された DAG が Airflow データベースから削除される頻度を制御します。更新頻度が高いと、パフォーマンスに悪影響が及ぶ可能性があります。min_serialized_dag_update_interval と dag_dir_list_interval は 30 秒に設定することをおすすめします。

DAG のシリアル化の無効化

既存の環境で、または新しい環境を作成する際に、DAG のシリアル化を有効にできます。

DAG のシリアル化を無効にするには、次の Airflow 構成オプションをオーバーライドします。

セクション キー 値
core store_serialized_dags False
core store_dag_code False