清除 Airflow 資料庫

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer„�

本頁說明如何維護環境中的 Airflow 資料庫。

透過資料庫保留政策自動清理資料庫

您可以設定資料庫保留政策,為 Cloud Composer 3 環境設定自動資料庫清除作業。設定這項政策後,系統每天會自動從 Airflow 資料庫中移除超過特定時間範圍的記錄。詳情請參閱「設定資料庫保留政策」。

已淘汰的清除程序

在 Cloud Composer 提供資料庫保留政策之前,我們建議透過資料庫清除 DAG,以不同方法自動清除資料庫。在 Cloud Composer 3 中,這種做法已過時。這個 DAG 會執行多餘的工作,您可以移除這個 DAG 並改用資料庫保留政策,藉此減少資源耗用量。

資料庫大小限制

隨著時間推移,環境的 Airflow 資料庫會儲存越來越多資料。這類資料包括與過去 DAG 執行、工作和其他 Airflow 作業相關的資訊和記錄。

  • 如果 Airflow 資料庫大小超過 20 GB,就無法將環境升級至較新版本。

  • 如果 Airflow 資料庫大小超過 20 GB,就無法建立快照。

維持資料庫效能

  • Airflow 資料庫效能問題可能會導致整體 DAG 執行問題。觀察資料庫 CPU 和記憶體用量統計資料。如果 CPU 和記憶體使用率接近上限,表示資料庫負載過重,需要擴充。 Airflow 資料庫的可用資源量由環境的環境大小屬性控管。如要擴充資料庫,請將環境大小變更為較大的層級。環境大小增加,環境費用也會增加。

  • 如果使用 XCom 機制傳輸檔案,請務必按照 Airflow 的指南使用。使用 XCom 傳輸大型檔案或大量檔案會影響 Airflow 資料庫的效能,並可能導致載入快照或升級環境時發生錯誤。請考慮使用 Cloud Storage 等替代方案來移轉大量資料。

移除未使用的 DAG 項目

如要移除未使用的 DAG 的資料庫項目,請從 Airflow UI 移除 DAG

後續步驟