Ativar e desativar a serialização de DAG

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Siga as instruções nesta página para ativar ou desativar a serialização de DAGs.

Num ambiente do Cloud Composer, o programador do Airflow e o servidor Web do Airflow processam continuamente DAGs. Pode melhorar a fiabilidade e o desempenho do servidor Web do Airflow ativando a serialização de DAGs.

A ativação da serialização de DAG força o programador a processar ficheiros DAG antes de serem enviados para o servidor Web. O servidor Web não processa DAGs. Em vez disso, lê os DAGs serializados da base de dados do Airflow. A serialização de DAGs desta forma reduz a utilização da CPU e da memória do servidor Web, especialmente quando processa um grande número de DAGs.

Antes de começar

Nota: a partir da versão 1.15.0 do Cloud Composer, a serialização de DAGs está ativada por predefinição. Pode ativar e desativar a serialização de DAGs em ambientes novos e existentes substituindo as opções de configuração do Airflow, conforme descrito nas secções seguintes.

A serialização de DAGs afeta as seguintes funcionalidades do Cloud Composer:

• Não é possível ativar a serialização de DAG ao mesmo tempo que o carregamento assíncrono de DAG.
• A ativação da serialização de DAGs desativa todos os plug-ins do servidor Web do Airflow para o Cloud Composer. Isto não afeta os plug-ins do programador nem do trabalhador, incluindo operadores, sensores, etc. do Airflow.

Ativar a serialização de DAGs

Pode ativar a serialização de DAGs para um ambiente existente ou quando criar um novo ambiente.

Nota: não aplique estas definições a ambientes que executem o Airflow 2.x. A serialização de DAGs e o armazenamento de código DAG na base de dados de metadados do Airflow estão ativados por predefinição no Airflow 2.x e não é possível ativá-los nem desativá-los.

Para ativar a serialização de DAGs, substitua as seguintes opções de configuração do Airflow:

Secção	Chave	Valor
core	store_serialized_dags	True
core	store_dag_code	True
core	min_serialized_dag_update_interval	30
scheduler	dag_dir_list_interval	30

A opção de configuração do min_serialized_dag_update_interval Airflow controla a frequência com que os DAGs serializados são atualizados na base de dados. A opção dag_dir_list_interval controla a frequência com que os DAGs removidos são eliminados da base de dados do Airflow. Uma frequência de atualização elevada pode afetar negativamente o desempenho. Recomendamos que defina min_serialized_dag_update_interval e dag_dir_list_interval para 30 segundos.

Desativar a serialização de DAG

Pode ativar a serialização de DAGs para um ambiente existente ou quando criar um novo ambiente.

Para desativar a serialização de DAGs, substitua as seguintes opções de configuração do Airflow:

Secção	Chave	Valor
core	store_serialized_dags	False
core	store_dag_code	False