啟用及停用 DAG 序列化

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer„�

請按照這個頁面的說明啟用或停用 DAG 序列化。

在 Cloud Composer 環境中，Airflow 排程器和 Airflow 網路伺服器都會持續處理 DAG。啟用 DAG 序列化，可提升 Airflow 網路伺服器的可靠性和效能。

啟用 DAG 序列化後，排程器必須先處理 DAG 檔案，才能將檔案傳送至網頁伺服器。網路伺服器不會處理 DAG。 而是從 Airflow 資料庫讀取序列化 DAG。以這種方式序列化 DAG 可減少網路伺服器的 CPU 和記憶體用量，特別是在處理大量 DAG 時。

事前準備

DAG 序列化會影響下列 Cloud Composer 功能：

  • DAG 序列化無法與非同步 DAG 載入同時啟用。
  • 啟用 DAG 序列化功能後，Cloud Composer 的所有 Airflow 網路伺服器外掛程式都會停用。這不會影響排程器或工作站外掛程式，包括 Airflow 運算子、感應器等。

啟用 DAG 序列化

您可以為現有環境啟用 DAG 序列化，也可以在建立新環境時啟用。

如要啟用 DAG 序列化，請覆寫下列 Airflow 設定選項：

區段 鍵 值
core store_serialized_dags True
core store_dag_code True
core min_serialized_dag_update_interval 30
scheduler dag_dir_list_interval 30

min_serialized_dag_update_interval Airflow 設定選項可控制資料庫中序列化 DAG 的更新頻率。dag_dir_list_interval 選項可控制從 Airflow 資料庫刪除已移除 DAG 的頻率。更新頻率過高可能會對效能造成負面影響。建議將 min_serialized_dag_update_interval 和 dag_dir_list_interval 設為 30 秒。

停用 DAG 序列化

您可以為現有環境啟用 DAG 序列化，也可以在建立新環境時啟用。

如要停用 DAG 序列化，請覆寫下列 Airflow 設定選項：

區段 鍵 值
core store_serialized_dags False
core store_dag_code False