Limpar o banco de dados do Airflow

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Nesta página, explicamos como manter o banco de dados do Airflow no seu ambiente.

Limpeza automática do banco de dados com uma política de retenção

É possível configurar a limpeza automática do banco de dados para seu ambiente do Cloud Composer 3 definindo uma política de retenção de banco de dados. Depois de configurar essa política, os registros mais antigos que um determinado período são removidos automaticamente do banco de dados do Airflow todos os dias. Para mais informações, consulte Configurar uma política de retenção de banco de dados.

Procedimentos de limpeza descontinuados

Antes da política de retenção de banco de dados ficar disponível no Cloud Composer, recomendávamos uma abordagem diferente para automatizar a limpeza do banco de dados, usando uma DAG de limpeza de banco de dados. Essa abordagem está obsoleta no Cloud Composer 3. Esse DAG faz um trabalho redundante, e você pode reduzir o consumo de recursos removendo-o e substituindo-o por uma política de retenção de banco de dados.

Limites para o tamanho do banco de dados

Com o tempo, o banco de dados do Airflow do seu ambiente armazena cada vez mais dados. Esses dados incluem informações e registros relacionados a execuções anteriores de DAG, tarefas e outras operações do Airflow.

  • Se o banco de dados do Airflow tiver mais de 20 GB, não será possível fazer upgrade do ambiente para uma versão mais recente.

  • Se o banco de dados do Airflow tiver mais de 20 GB, não será possível criar snapshots.

Manter o desempenho do banco de dados

  • Problemas de desempenho do banco de dados do Airflow podem levar a problemas gerais de execução do DAG. Observe as estatísticas de uso de CPU e memória do banco de dados. Se a utilização da CPU e da memória se aproximar dos limites, o banco de dados estará sobrecarregado e precisará de escalonamento. A quantidade de recursos disponíveis para o banco de dados do Airflow é controlada pela propriedade de tamanho do ambiente. Para fazer isso, altere o tamanho do ambiente para um nível maior. Aumentar o tamanho do ambiente aumenta os custos dele.

  • Se você usar o mecanismo XCom para transferir arquivos, use-o de acordo com as diretrizes do Airflow. A transferência de arquivos grandes ou de um grande número de arquivos usando XCom afeta o desempenho do banco de dados do Airflow e pode causar falhas ao carregar snapshots ou fazer upgrade do ambiente. Considere usar alternativas como o Cloud Storage para transferir grandes volumes de dados.

Remova entradas para DAGs não utilizados

É possível remover entradas do banco de dados para DAGs não utilizados removendo DAGs da interface do Airflow.

A seguir