Ativar e desativar a serialização de DAG

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Siga as instruções nesta página para ativar ou desativar a serialização de DAGs.

Num ambiente do Cloud Composer, o programador do Airflow e o servidor Web do Airflow processam continuamente DAGs. Pode melhorar a fiabilidade e o desempenho do servidor Web do Airflow ativando a serialização de DAGs.

A ativação da serialização de DAG força o programador a processar ficheiros DAG antes de serem enviados para o servidor Web. O servidor Web não processa DAGs. Em vez disso, lê os DAGs serializados da base de dados do Airflow. A serialização de DAGs desta forma reduz a utilização da CPU e da memória do servidor Web, especialmente quando processa um grande número de DAGs.

Antes de começar

A serialização de DAGs afeta as seguintes funcionalidades do Cloud Composer:

  • Não é possível ativar a serialização de DAG ao mesmo tempo que o carregamento assíncrono de DAG.
  • A ativação da serialização de DAGs desativa todos os plug-ins do servidor Web do Airflow para o Cloud Composer. Isto não afeta os plug-ins do programador nem do trabalhador, incluindo operadores, sensores, etc. do Airflow.

Ativar a serialização de DAGs

Pode ativar a serialização de DAGs para um ambiente existente ou quando criar um novo ambiente.

Para ativar a serialização de DAGs, substitua as seguintes opções de configuração do Airflow:

Secção Chave Valor
core store_serialized_dags True
core store_dag_code True
core min_serialized_dag_update_interval 30
scheduler dag_dir_list_interval 30

A opção de configuração do min_serialized_dag_update_interval Airflow controla a frequência com que os DAGs serializados são atualizados na base de dados. A opção dag_dir_list_interval controla a frequência com que os DAGs removidos são eliminados da base de dados do Airflow. Uma frequência de atualização elevada pode afetar negativamente o desempenho. Recomendamos que defina min_serialized_dag_update_interval e dag_dir_list_interval para 30 segundos.

Desativar a serialização de DAG

Pode ativar a serialização de DAGs para um ambiente existente ou quando criar um novo ambiente.

Para desativar a serialização de DAGs, substitua as seguintes opções de configuração do Airflow:

Secção Chave Valor
core store_serialized_dags False
core store_dag_code False