Como ativar e desativar a serialização do DAG

Siga as instruções nesta página para ativar ou desativar a serialização do DAG.

Em um ambiente do Cloud Composer, o programador do Airflow e o servidor da Web do Airflow processam continuamente os DAGs. Para melhorar a confiabilidade e o desempenho do servidor da Web do Airflow, ative a serialização de DAG.

Ativar a serialização do DAG força o programador a processar arquivos DAG antes que eles sejam enviados para o servidor da Web. O servidor da Web não processa DAGs. Em vez disso, ele lê os DAGs serializados do banco de dados do Airflow. A serialização de DAGs dessa maneira reduz o uso de CPU e memória do servidor da Web, especialmente ao processar um grande número de DAGs.

Antes de começar

A serialização de DAG afeta os seguintes recursos do Cloud Composer:

  • A serialização de DAG não pode ser ativada ao mesmo tempo que o carregamento de DAG assíncrono.
  • Ativar a serialização do DAG desativa todos os plug-ins de servidor da Web do Airflow para o Cloud Composer. Isso não afeta os plug-ins de programador ou worker, incluindo operadores do Airflow, sensores e assim por diante.

Como ativar a serialização do DAG

É possível ativar a serialização do DAG para um ambiente atual ou ao criar um novo ambiente.

Para ativar a serialização do DAG, substitua as seguintes opções de configuração do Airflow:

Seção Chave Valor
core store_serialized_dags True
core store_dag_code True
core min_serialized_dag_update_interval 30
scheduler dag_dir_list_interval 30

A opção de configuração min_serialized_dag_update_interval do Airflow controla com que frequência os DAGs serializados são atualizados no banco de dados. A opção dag_dir_list_interval controla com que frequência os DAGs removidos são excluídos do banco de dados do Airflow. Uma frequência de atualização alta pode afetar negativamente o desempenho. Recomendamos definir min_serialized_dag_update_interval e dag_dir_list_interval para 30 segundos.

Como desativar a serialização do DAG

É possível ativar a serialização do DAG para um ambiente atual ou ao criar um novo ambiente.

Para desativar a serialização do DAG, substitua as seguintes opções de configuração do Airflow:

Seção Chave Valor
core store_serialized_dags False
core store_dag_code False