Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
本页面介绍了如何维护环境中的 Airflow 数据库。
通过数据库保留政策自动清理数据库
您可以通过设置数据库保留政策,为 Cloud Composer 3 环境配置自动数据库清理。设置此政策后,系统每天都会自动从 Airflow 数据库中移除超过一定期限的记录。如需了解详情,请参阅配置数据库保留政策。
已弃用的清理程序
在 Cloud Composer 中提供数据库保留政策之前,我们建议通过数据库清理 DAG 采用不同的方法来自动执行数据库清理。此方法在 Cloud Composer 3 中已过时。此 DAG 会执行冗余工作,您可以将其移除并替换为数据库保留政策,从而减少资源消耗。
数据库大小限制
随着时间的推移,环境的 Airflow 数据库会存储越来越多的数据。这些数据包括与过往 DAG 运行、任务和其他 Airflow 操作相关的信息和日志。
如果 Airflow 数据库大小超过 20 GB,则无法将环境升级到更高版本。
如果 Airflow 数据库大小超过 20 GB,则无法创建快照。
维护数据库性能
Airflow 数据库性能问题可能会导致整体 DAG 执行问题。 观察数据库 CPU 和内存用量统计信息。如果 CPU 和内存利用率接近上限,则表示数据库过载并需要伸缩。 Airflow 数据库可用的资源量由环境的环境大小属性控制。如需扩大数据库规模,请将环境大小更改为更高级别。增加环境大小会增加环境的费用。
如果您使用 XCom 机制来传输文件,请确保按照 Airflow 的指南使用该机制。使用 XCom 传输大文件或大量文件会影响 Airflow 数据库的性能,并可能导致在加载快照或升级环境时出现故障。建议使用替代方案(例如 Cloud Storage)来转移大量数据。
移除未使用的 DAG 的条目
您可以通过从 Airflow 界面中移除 DAG 来移除未使用的 DAG 的数据库条目。
后续步骤