Limpiar la base de datos de Airflow

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

En esta página se explica cómo mantener la base de datos de Airflow en tu entorno.

Limpieza automática de bases de datos con una política de conservación de bases de datos

Puedes configurar la limpieza automática de la base de datos de tu entorno de Cloud Composer 3 definiendo una política de conservación de la base de datos. Una vez que hayas configurado esta política, los registros que tengan más de un periodo determinado se eliminarán automáticamente de la base de datos de Airflow cada día. Para obtener más información, consulta el artículo sobre cómo configurar la política de conservación de bases de datos.

Procedimientos de limpieza obsoletos

Antes de que la política de conservación de bases de datos estuviera disponible en Cloud Composer, recomendábamos otro enfoque para automatizar la limpieza de bases de datos mediante un DAG de limpieza de bases de datos. Este enfoque está obsoleto en Cloud Composer 3. Este DAG realiza un trabajo redundante, por lo que puedes reducir el consumo de recursos si lo eliminas y lo sustituyes por una política de conservación de bases de datos.

Límites de tamaño de las bases de datos

Con el tiempo, la base de datos de Airflow de tu entorno almacena cada vez más datos. Estos datos incluyen información y registros relacionados con ejecuciones de DAG, tareas y otras operaciones de Airflow anteriores.

  • Si el tamaño de la base de datos de Airflow es superior a 20 GB, no podrás actualizar tu entorno a una versión posterior.

  • Si el tamaño de la base de datos de Airflow es superior a 20 GB, no se pueden crear copias.

Mantener el rendimiento de la base de datos

  • Los problemas de rendimiento de la base de datos de Airflow pueden provocar problemas generales en la ejecución de DAGs. Consulta las estadísticas de uso de la CPU y la memoria de la base de datos. Si el uso de la CPU y la memoria se acerca a los límites, la base de datos estará sobrecargada y requerirá un escalado. La cantidad de recursos disponibles para la base de datos de Airflow se controla mediante la propiedad de tamaño del entorno. Para aumentar la capacidad de la base de datos, cambia el tamaño del entorno a un nivel superior. Si aumentas el tamaño del entorno, también aumentarán los costes.

  • Si usas el mecanismo XCom para transferir archivos, asegúrate de usarlo de acuerdo con las directrices de Airflow. La transferencia de archivos grandes o de un gran número de archivos mediante XCom afecta al rendimiento de la base de datos de Airflow y puede provocar errores al cargar instantáneas o actualizar el entorno. Puedes usar alternativas como Cloud Storage para transferir grandes volúmenes de datos.

Eliminar entradas de DAGs que no se usan

Puedes eliminar las entradas de la base de datos de los DAGs que no se usen quitando los DAGs de la interfaz de usuario de Airflow.

Siguientes pasos