Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Sigue las instrucciones de esta página para habilitar o inhabilitar la serialización de DAG.
En un entorno de Cloud Composer, el programador y el servidor web de Airflow procesan los DAG de forma continua. Puedes mejorar la confiabilidad y el rendimiento del servidor web de Airflow, si habilitas la serialización de DAG.
La habilitación de la serialización del DAG obliga al programador a procesar archivos DAG antes de que se envíen al servidor web. El servidor web no procesa los DAG. En su lugar, lee los DAG serializados de la base de datos de Airflow. La serialización del DAG de esta manera reduce el uso de la CPU y la memoria del servidor web, en especial cuando procesa una gran cantidad de DAG.
Antes de comenzar
La serialización del DAG afecta las siguientes funciones de Cloud Composer:
- La serialización del DAG no se puede habilitar al mismo tiempo que la carga asíncrona del DAG.
- Si habilitas la serialización del DAG, se inhabilitan todos los complementos del servidor web de Airflow para Cloud Composer. Esto no afecta a los complementos del programador o trabajador, incluidos los operadores de Airflow, los sensores y demás.
Habilita la serialización de DAG
Puedes habilitar la serialización del DAG para un entorno existente o cuando creas un entorno nuevo.
Para habilitar la serialización del DAG, anula las siguientes opciones de configuración de Airflow:
| Sección | Clave | Valor |
|---|---|---|
core |
store_serialized_dags |
True |
core |
store_dag_code |
True |
core |
min_serialized_dag_update_interval |
30 |
scheduler |
dag_dir_list_interval |
30 |
La opción de configuración de Airflow min_serialized_dag_update_interval controla la frecuencia con la que se actualizan los DAG serializados en la base de datos.
Con la opción dag_dir_list_interval, se controla la frecuencia con la que se borran los DAG que se quitan de la base de datos de Airflow. Una frecuencia de actualización alta puede tener un impacto negativo en el rendimiento. Recomendamos configurar min_serialized_dag_update_interval y dag_dir_list_interval en 30 segundos.
Inhabilita la serialización del DAG
Puedes habilitar la serialización del DAG para un entorno existente o cuando creas un entorno nuevo.
Para inhabilitar la serialización del DAG, anula las siguientes opciones de configuración de Airflow:
| Sección | Clave | Valor |
|---|---|---|
core |
store_serialized_dags |
False |
core |
store_dag_code |
False |