Cloud Composer 3 | Cloud Composer 2 | Cloud Composer�
本頁說明如何維護環境中的 Airflow 資料庫。
透過資料庫保留政策自動清理資料庫
您可以設定資料庫保留政策,為 Cloud Composer 3 環境設定自動資料庫清除作業。設定這項政策後,系統每天會自動從 Airflow 資料庫中移除超過特定時間範圍的記錄。詳情請參閱「設定資料庫保留政策」。
已淘汰的清除程序
在 Cloud Composer 提供資料庫保留政策之前,我們建議透過資料庫清除 DAG,以不同方法自動清除資料庫。在 Cloud Composer 3 中,這種做法已過時。這個 DAG 會執行多餘的工作,您可以移除這個 DAG 並改用資料庫保留政策,藉此減少資源耗用量。
資料庫大小限制
隨著時間推移,環境的 Airflow 資料庫會儲存越來越多資料。這類資料包括與過去 DAG 執行、工作和其他 Airflow 作業相關的資訊和記錄。
如果 Airflow 資料庫大小超過 20 GB,就無法將環境升級至較新版本。
如果 Airflow 資料庫大小超過 20 GB,就無法建立快照。
維持資料庫效能
Airflow 資料庫效能問題可能會導致整體 DAG 執行問題。觀察資料庫 CPU 和記憶體用量統計資料。如果 CPU 和記憶體使用率接近上限,表示資料庫負載過重,需要擴充。 Airflow 資料庫的可用資源量由環境的環境大小屬性控管。如要擴充資料庫,請將環境大小變更為較大的層級。環境大小增加,環境費用也會增加。
如果使用 XCom 機制傳輸檔案,請務必按照 Airflow 的指南使用。使用 XCom 傳輸大型檔案或大量檔案會影響 Airflow 資料庫的效能,並可能導致載入快照或升級環境時發生錯誤。請考慮使用 Cloud Storage 等替代方案來移轉大量資料。
移除未使用的 DAG 項目
如要移除未使用的 DAG 的資料庫項目,請從 Airflow UI 移除 DAG。
後續步驟