Limpe a base de dados do Airflow

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Esta página explica como manter a base de dados do Airflow no seu ambiente.

Limpeza automática da base de dados com uma política de retenção da base de dados

Pode configurar a limpeza automática da base de dados para o seu ambiente do Cloud Composer 3 definindo uma política de retenção da base de dados. Depois de configurar esta política, os registos com mais de um determinado período são removidos automaticamente da base de dados do Airflow diariamente. Para mais informações, consulte o artigo Configure a política de retenção da base de dados.

Procedimentos de limpeza descontinuados

Antes de a política de retenção da base de dados ficar disponível no Cloud Composer, recomendamos uma abordagem diferente para automatizar a limpeza da base de dados através de um DAG de limpeza da base de dados. Esta abordagem está obsoleta no Cloud Composer 3. Este DAG faz um trabalho redundante e pode reduzir o consumo de recursos removendo-o e substituindo-o por uma política de retenção da base de dados.

Limites para o tamanho da base de dados

À medida que o tempo passa, a base de dados do Airflow do seu ambiente armazena cada vez mais dados. Estes dados incluem informações e registos relacionados com execuções de DAG anteriores, tarefas e outras operações do Airflow.

  • Se o tamanho da base de dados do Airflow for superior a 20 GB, não pode atualizar o seu ambiente para uma versão posterior.

  • Se o tamanho da base de dados do Airflow for superior a 20 GB, não é possível criar capturas instantâneas.

Mantenha o desempenho da base de dados

  • Os problemas de desempenho da base de dados do Airflow podem levar a problemas gerais de execução do DAG. Observe as estatísticas de utilização de memória e CPU da base de dados. Se a utilização da CPU e da memória se aproximar dos limites, a base de dados está sobrecarregada e requer o ajuste de escala. A quantidade de recursos disponíveis para a base de dados do Airflow é controlada pela propriedade de tamanho do ambiente do seu ambiente. Para aumentar a escala da base de dados, altere o tamanho do ambiente para um nível superior. Aumentar o tamanho do ambiente aumenta os custos do seu ambiente.

  • Se usar o mecanismo XCom para transferir ficheiros, certifique-se de que o usa de acordo com as diretrizes do Airflow. A transferência de ficheiros grandes ou de um grande número de ficheiros através do XCom afeta o desempenho da base de dados do Airflow e pode originar falhas ao carregar instantâneos ou atualizar o seu ambiente. Considere usar alternativas, como o Cloud Storage, para transferir grandes volumes de dados.

Remova entradas de DAGs não usados

Pode remover entradas da base de dados para DAGs não usados removendo DAGs da IU do Airflow.

O que se segue?