啟用及停用 DAG 序列化

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

請按照本頁說明啟用或停用 DAG 序列化。

在 Cloud Composer 環境中，Airflow 排程器和 Airflow 網路伺服器會持續處理 DAG。您可以啟用 DAG 序列化，改善 Airflow 網路伺服器的可靠性和效能。

啟用 DAG 序列化功能後，排程器會在 DAG 檔案傳送至網路伺服器前處理這些檔案。網路伺服器不會處理 DAG。而是從 Airflow 資料庫讀取序列化的 DAG。以這種方式序列化 DAG 可減少網路伺服器的 CPU 和記憶體用量，尤其是在處理大量 DAG 時。

事前準備

DAG 序列化會影響下列 Cloud Composer 功能：

  • 您無法同時啟用 DAG 序列化和非同步 DAG 載入。
  • 啟用 DAG 序列化功能會停用 Cloud Composer 的所有 Airflow 網路伺服器外掛程式。這不會影響排程器或 worker 外掛程式，包括 Airflow 運算子、感應器等。

啟用 DAG 序列化

您可以為現有環境或建立新環境時啟用 DAG 序列化。

如要啟用 DAG 序列化功能，請覆寫下列 Airflow 設定選項：

區段 鍵 值
core store_serialized_dags True
core store_dag_code True
core min_serialized_dag_update_interval 30
scheduler dag_dir_list_interval 30

min_serialized_dag_update_interval Airflow 設定選項會控制序列化 DAG 在資料庫中更新的頻率。dag_dir_list_interval 選項會控制從 Airflow 資料庫中刪除已移除的 DAG 的頻率。更新頻率過高可能會對效能造成負面影響。建議將 min_serialized_dag_update_interval 和 dag_dir_list_interval 設為 30 秒。

停用 DAG 序列化

您可以為現有環境啟用 DAG 序列化，也可以在建立新環境時啟用。

如要停用 DAG 序列化，請覆寫下列 Airflow 設定選項：

區段 鍵 值
core store_serialized_dags False
core store_dag_code False