O Cloud Composer 1 está no modo pós-manutenção. O Google não lança mais atualizações para o Cloud Composer 1, incluindo novas versões do Airflow, correções de bugs e atualizações de segurança. Recomendamos planejar a migração para o Cloud Composer 2.
Siga as instruções nesta página para ativar ou desativar a serialização do DAG.
Em um ambiente do Cloud Composer, o programador do Airflow e
o servidor da Web do Airflow processam continuamente os DAGs. É possível melhorar
a confiabilidade e o desempenho do servidor da Web do Airflow ativando a
serialização de DAG.
A ativação da serialização do DAG força o programador a processar arquivos DAG
antes de serem enviados para o servidor da Web. O servidor da Web não processa DAGs.
Em vez disso, ele lê os DAGs serializados do banco de dados do Airflow. A serialização
de DAGs dessa maneira reduz o uso de CPU e de memória pelo servidor da Web,
especialmente ao processar um grande número de DAGs.
Antes de começar
A serialização de DAG afeta os seguintes recursos do Cloud Composer:
Ativar a serialização do DAG desativa todos os plug-ins de servidor da Web do Airflow para o
Cloud Composer. Isso não afeta os plug-ins do programador ou do worker,
incluindo os operadores do Airflow, sensores e assim por diante.
Como ativar a serialização do DAG
É possível ativar a serialização de DAG para um ambiente atual ou ao criar um
novo ambiente.
Para ativar a serialização de DAG,
substitua as seguintes opções de configuração do Airflow:
Seção
Chave
Valor
core
store_serialized_dags
True
core
store_dag_code
True
core
min_serialized_dag_update_interval
30
scheduler
dag_dir_list_interval
30
A opção de configuração min_serialized_dag_update_interval
do Airflow controla com que frequência os DAGs serializados
são atualizados no banco de dados.
A opção dag_dir_list_interval
controla a frequência com que os DAGs removidos são excluídos do banco de dados
do Airflow. Uma alta frequência de atualização pode afetar negativamente o desempenho. Recomendamos
definir min_serialized_dag_update_interval e
dag_dir_list_interval como 30 segundos.
Como desativar a serialização do DAG
É possível ativar a serialização do DAG para um ambiente atual ou ao criar
um novo ambiente.
Para desativar a serialização de DAG, substitua as seguintes opções de configuração do
Airflow:
[[["Fácil de entender","easyToUnderstand","thumb-up"],["Meu problema foi resolvido","solvedMyProblem","thumb-up"],["Outro","otherUp","thumb-up"]],[["Difícil de entender","hardToUnderstand","thumb-down"],["Informações incorretas ou exemplo de código","incorrectInformationOrSampleCode","thumb-down"],["Não contém as informações/amostras de que eu preciso","missingTheInformationSamplesINeed","thumb-down"],["Problema na tradução","translationIssue","thumb-down"],["Outro","otherDown","thumb-down"]],["Última atualização 2025-03-06 UTC."],[[["DAG serialization in Cloud Composer improves the reliability and performance of the Airflow web server by having the scheduler process DAG files before they are sent, reducing the web server's CPU and memory usage."],["Starting with Cloud Composer version 1.15.0, DAG serialization is enabled by default, and it can be managed by overriding Airflow configuration options in both new and existing environments."],["Enabling DAG serialization requires setting the `store_serialized_dags` and `store_dag_code` Airflow configuration options to `True`, along with recommended settings of `30` for both `min_serialized_dag_update_interval` and `dag_dir_list_interval`."],["Disabling DAG serialization involves overriding the `store_serialized_dags` and `store_dag_code` Airflow configuration options and setting them to `False`."],["DAG serialization is incompatible with asynchronous DAG loading and will disable all Airflow web server plugins, although scheduler and worker plugins remain unaffected."]]],[]]
