Habilita e inhabilita la serialización de DAG

Sigue las instrucciones de esta página para habilitar o inhabilitar la serialización de DAG.

En un entorno de Cloud Composer, tanto el programador de Airflow como el servidor web de Airflow procesan continuamente los DAG. Puedes mejorar la confiabilidad y el rendimiento del servidor web de Airflow si habilitas la serialización de DAG.

La habilitación de la serialización de DAG obliga al programador a procesar archivos de DAG antes de enviarlos al servidor web. El servidor web no procesa los DAG. En su lugar, lee los DAG serializados de la base de datos de Airflow. La serialización de DAG se ve de esta forma reduce el uso de CPU y memoria del servidor web, en especial cuando se procesa una gran cantidad de DAG.

Antes de comenzar

La serialización de DAG afecta las siguientes funciones de Cloud Composer:

  • La serialización de DAG no se puede habilitar al mismo tiempo que la carga asíncrona del DAG.
  • Si habilitas la serialización del DAG, se inhabilitan todos los complementos del servidor web de Airflow para Cloud Composer. Esto no afecta a los complementos de programador o trabajador, incluidos los operadores de Airflow, los sensores, etcétera.

Habilita la serialización de DAG

Puedes habilitar la serialización de DAG para un entorno existente o cuando creas un entorno nuevo.

Para habilitar la serialización de DAG, anula las siguientes opciones de configuración de Airflow:

Sección Clave Valor
core store_serialized_dags True
core store_dag_code True
core min_serialized_dag_update_interval 30
scheduler dag_dir_list_interval 30

La opción de configuración min_serialized_dag_update_interval de Airflow controla la frecuencia con la que se actualizan los DAG serializados en la base de datos. La opción dag_dir_list_interval controla con qué frecuencia se borran los DAG que se quitan de la base de datos de Airflow. Una frecuencia de actualización alta puede afectar de forma negativa el rendimiento. Recomendamos configurar min_serialized_dag_update_interval y dag_dir_list_interval en 30 segundos.

Inhabilita la serialización del DAG

Puedes habilitar la serialización de DAG para un entorno existente o cuando creas un entorno nuevo.

Para inhabilitar la serialización de DAG, anula las siguientes opciones de configuración de Airflow:

Sección Clave Valor
core store_serialized_dags False
core store_dag_code False