Limpiar la base de datos de Airflow

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

En esta página, se explica cómo mantener la base de datos de Airflow en tu entorno.

Limpieza automática de la base de datos con una política de retención de la base de datos

Puedes configurar la limpieza automática de la base de datos para tu entorno de Cloud Composer 3 estableciendo una política de retención de la base de datos. Después de configurar esta política, los registros anteriores a un período determinado se quitan automáticamente de la base de datos de Airflow todos los días. Para obtener más información, consulta Cómo configurar la política de retención de la base de datos.

Procedimientos de limpieza obsoletos

Antes de que la política de retención de la base de datos estuviera disponible en Cloud Composer, recomendábamos un enfoque diferente para automatizar la limpieza de la base de datos a través de un DAG de limpieza de la base de datos. Este enfoque está obsoleto en Cloud Composer 3. Este DAG realiza un trabajo redundante, y puedes reducir el consumo de recursos si lo quitas y lo reemplazas por una política de retención de la base de datos.

Límites para el tamaño de la base de datos

Con el tiempo, la base de datos de Airflow de tu entorno almacena cada vez más datos. Estos datos incluyen información y registros relacionados con ejecuciones y tareas anteriores de DAG y otras operaciones de Airflow.

  • Si el tamaño de la base de datos de Airflow es superior a 20 GB, no puedes actualizar tu entorno a una versión posterior.

  • Si el tamaño de la base de datos de Airflow es superior a 20 GB, no es posible crear instantáneas.

Mantener el rendimiento de la base de datos

  • Los problemas de rendimiento de la base de datos de Airflow pueden generar problemas generales en la ejecución de los DAG. Observa las estadísticas de uso de la CPU y la memoria de la base de datos. Si el uso de CPU y memoria se acerca a los límites, la base de datos está sobrecargada y requiere escalamiento. La cantidad de recursos disponibles para la base de datos de Airflow se controla con la propiedad de tamaño del entorno. Para aumentar la escala de la base de datos, cambia el tamaño del entorno a un nivel más grande. Aumentar el tamaño del entorno incrementa sus costos.

  • Si usas el mecanismo XCom para transferir archivos, asegúrate de usarlo según los lineamientos de Airflow. La transferencia de archivos grandes o una gran cantidad de archivos con XCom afecta el rendimiento de la base de datos de Airflow y puede provocar errores al cargar instantáneas o actualizar tu entorno. Considera usar alternativas como Cloud Storage para transferir grandes volúmenes de datos.

Quita las entradas de los DAG sin usar

Puedes quitar entradas de bases de datos de los DAG sin usar si quitas los DAG de la IU de Airflow.

¿Qué sigue?