Habilitar e inhabilitar la serialización de DAGs

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Sigue las instrucciones de esta página para habilitar o inhabilitar la serialización de DAGs.

En un entorno de Cloud Composer, tanto el programador de Airflow como el servidor web de Airflow procesan continuamente los DAGs. Puedes mejorar la fiabilidad y el rendimiento del servidor web de Airflow habilitando la serialización de DAGs.

Si habilitas la serialización de DAG, el programador procesará los archivos de DAG antes de enviarlos al servidor web. El servidor web no procesa DAGs. En su lugar, lee los DAGs serializados de la base de datos de Airflow. La serialización de DAGs de esta forma reduce el uso de CPU y memoria del servidor web, especialmente cuando se procesa un gran número de DAGs.

Antes de empezar

La serialización de DAG afecta a las siguientes funciones de Cloud Composer:

  • La serialización de DAGs no se puede habilitar al mismo tiempo que la carga asíncrona de DAGs.
  • Si habilitas la serialización de DAGs, se inhabilitarán todos los complementos del servidor web de Airflow en Cloud Composer. Esto no afecta a los complementos de programador ni de trabajador, incluidos los operadores y sensores de Airflow, entre otros.

Habilitar la serialización de DAG

Puedes habilitar la serialización de DAG en un entorno que ya tengas o al crear uno nuevo.

Para habilitar la serialización de DAGs, anula las siguientes opciones de configuración de Airflow:

Sección Clave Valor
core store_serialized_dags True
core store_dag_code True
core min_serialized_dag_update_interval 30
scheduler dag_dir_list_interval 30

La opción de configuración de min_serialized_dag_update_interval Airflow controla con qué frecuencia se actualizan los DAGs serializados en la base de datos. La opción dag_dir_list_interval controla la frecuencia con la que se eliminan los DAGs de la base de datos de Airflow. Una frecuencia de actualización alta puede afectar negativamente al rendimiento. Te recomendamos que definas min_serialized_dag_update_interval y dag_dir_list_interval en 30 segundos.

Inhabilitar la serialización de DAG

Puedes habilitar la serialización de DAG en un entorno que ya tengas o al crear uno nuevo.

Para inhabilitar la serialización de DAGs, anula las siguientes opciones de configuración de Airflow:

Sección Clave Valor
core store_serialized_dags False
core store_dag_code False