Habilitar e inhabilitar la serialización de DAGs

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Sigue las instrucciones de esta página para habilitar o inhabilitar la serialización de DAGs.

En un entorno de Cloud Composer, tanto el programador de Airflow como el servidor web de Airflow procesan continuamente los DAGs. Puedes mejorar la fiabilidad y el rendimiento del servidor web de Airflow habilitando la serialización de DAGs.

Si habilitas la serialización de DAG, el programador procesará los archivos de DAG antes de enviarlos al servidor web. El servidor web no procesa DAGs. En su lugar, lee los DAGs serializados de la base de datos de Airflow. La serialización de DAGs de esta forma reduce el uso de CPU y memoria del servidor web, especialmente cuando se procesa un gran número de DAGs.

Antes de empezar

Nota: A partir de la versión 1.15.0 de Cloud Composer, la serialización de DAGs está habilitada de forma predeterminada. Puedes habilitar e inhabilitar la serialización de DAGs en entornos nuevos y actuales sustituyendo las opciones de configuración de Airflow, tal como se describe en las secciones siguientes.

La serialización de DAG afecta a las siguientes funciones de Cloud Composer:

• La serialización de DAGs no se puede habilitar al mismo tiempo que la carga asíncrona de DAGs.
• Si habilitas la serialización de DAGs, se inhabilitarán todos los complementos del servidor web de Airflow en Cloud Composer. Esto no afecta a los complementos de programador ni de trabajador, incluidos los operadores y sensores de Airflow, entre otros.

Habilitar la serialización de DAG

Puedes habilitar la serialización de DAG en un entorno que ya tengas o al crear uno nuevo.

Nota: No apliques estos ajustes a entornos que ejecuten Airflow 2.x. La serialización de DAG y el almacenamiento de código de DAG en la base de datos de metadatos de Airflow están activados de forma predeterminada en Airflow 2.x y no se pueden activar ni desactivar.

Para habilitar la serialización de DAGs, anula las siguientes opciones de configuración de Airflow:

Sección	Clave	Valor
core	store_serialized_dags	True
core	store_dag_code	True
core	min_serialized_dag_update_interval	30
scheduler	dag_dir_list_interval	30

La opción de configuración de min_serialized_dag_update_interval Airflow controla con qué frecuencia se actualizan los DAGs serializados en la base de datos. La opción dag_dir_list_interval controla la frecuencia con la que se eliminan los DAGs de la base de datos de Airflow. Una frecuencia de actualización alta puede afectar negativamente al rendimiento. Te recomendamos que definas min_serialized_dag_update_interval y dag_dir_list_interval en 30 segundos.

Inhabilitar la serialización de DAG

Puedes habilitar la serialización de DAG en un entorno que ya tengas o al crear uno nuevo.

Para inhabilitar la serialización de DAGs, anula las siguientes opciones de configuración de Airflow:

Sección	Clave	Valor
core	store_serialized_dags	False
core	store_dag_code	False