Como ativar e desativar a serialização do DAG

Cloud Composer 1 | Cloud Composer 2

Siga as instruções nesta página para ativar ou desativar a serialização do DAG.

Em um ambiente do Cloud Composer, o programador do Airflow e o servidor da Web do Airflow processam continuamente os DAGs. É possível melhorar a confiabilidade e o desempenho do servidor da Web do Airflow ativando a serialização de DAG.

A ativação da serialização do DAG força o programador a processar arquivos DAG antes de serem enviados para o servidor da Web. O servidor da Web não processa DAGs. Em vez disso, ele lê os DAGs serializados do banco de dados do Airflow. A serialização de DAGs dessa maneira reduz o uso de CPU e de memória pelo servidor da Web, especialmente ao processar um grande número de DAGs.

Antes de começar

Observação: a partir da versão 1.15.0 do Cloud Composer, a serialização de DAG está ativada por padrão. É possível ativar e desativar a serialização de DAG em ambientes novos e atuais substituindo as opções de configuração do Airflow, conforme descrito nas seções a seguir.

A serialização de DAG afeta os seguintes recursos do Cloud Composer:

• A serialização de DAG não pode ser ativada ao mesmo tempo que o carregamento de DAG assíncrono.
• Ativar a serialização do DAG desativa todos os plug-ins de servidor da Web do Airflow para o Cloud Composer. Isso não afeta os plug-ins do programador ou do worker, incluindo os operadores do Airflow, sensores e assim por diante.

Como ativar a serialização do DAG

É possível ativar a serialização de DAG para um ambiente atual ou ao criar um novo.

Observação: não aplique essas configurações a ambientes que executam o Airflow 2.x. A serialização de DAG e o armazenamento de códigos do DAG no Banco de dados de metadados do Airflow são ativados por padrão no Airflow 2.x e não é possível ativá-los ou desativá-los.

Para ativar a serialização de DAG, substitua as seguintes opções de configuração do Airflow:

Seção	Chave	Valor
core	store_serialized_dags	True
core	store_dag_code	True
core	min_serialized_dag_update_interval	30
scheduler	dag_dir_list_interval	30

A opção de configuração min_serialized_dag_update_interval do Airflow controla com que frequência os DAGs serializados são atualizados no banco de dados. A opção dag_dir_list_interval controla a frequência com que os DAGs removidos são excluídos do banco de dados do Airflow. Uma alta frequência de atualização pode afetar negativamente o desempenho. Recomendamos definir min_serialized_dag_update_interval e dag_dir_list_interval como 30 segundos.

Como desativar a serialização do DAG

É possível ativar a serialização do DAG para um ambiente atual ou ao criar um novo ambiente.

Para desativar a serialização de DAG, substitua as seguintes opções de configuração do Airflow:

Seção	Chave	Valor
core	store_serialized_dags	False
core	store_dag_code	False