Activer et désactiver la sérialisation des DAG

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Suivez les instructions de cette page pour activer ou désactiver la sérialisation des DAG.

Dans un environnement Cloud Composer, le programmeur Airflow et le serveur Web Airflow traitent les DAG en continu. Vous pouvez améliorer la fiabilité et les performances du serveur Web Airflow en activant la sérialisation des DAG.

L'activation de la sérialisation des DAG oblige le programmeur à traiter les fichiers DAG avant leur envoi au serveur Web. Le serveur Web ne traite pas les DAG. Au lieu de cela, il lit les DAG sérialisés à partir de la base de données Airflow. La sérialisation réduit l'utilisation du processeur et de la mémoire par le serveur Web, en particulier lors du traitement d'un grand nombre de DAG.

Avant de commencer

Remarque : À partir de la version 1.15.0 de Cloud Composer, la sérialisation des DAG est activée par défaut. Vous pouvez activer et désactiver la sérialisation des DAG dans des environnements nouveaux et existants en remplaçant les options de configuration Airflow, comme décrit dans les sections suivantes.

La sérialisation des DAG affecte les fonctionnalités Cloud Composer suivantes :

• La sérialisation des DAG ne peut pas être activée en même temps que le chargement asynchrone des DAG.
• L'activation de la sérialisation des DAG désactive tous les plug-ins du serveur Web Airflow pour Cloud Composer. Cela n'affecte pas les plug-ins du programmeur ou du nœud de calcul, y compris les opérateurs Airflow, les capteurs, etc.

Activer la sérialisation des DAG

Vous pouvez activer la sérialisation des DAG pour un environnement existant ou lors de la création d'un environnement.

Remarque : N'appliquez pas ces paramètres aux environnements exécutant Airflow 2.x. La sérialisation et le stockage du code DAG dans la base de données de métadonnées Airflow sont activés par défaut dans Airflow 2.x et vous ne pouvez pas les activer ni les désactiver.

Pour activer la sérialisation des DAG, remplacez les options de configuration Airflow suivantes :

Section	Clé	Valeur
core	store_serialized_dags	True
core	store_dag_code	True
core	min_serialized_dag_update_interval	30
scheduler	dag_dir_list_interval	30

L'option de configuration Airflow min_serialized_dag_update_interval contrôle la fréquence de mise à jour des DAG sérialisés dans la base de données. L'option dag_dir_list_interval contrôle la fréquence à laquelle les DAG supprimés sont supprimés de la base de données Airflow. Une fréquence de mise à jour élevée peut avoir un impact négatif sur les performances. Nous vous recommandons de définir min_serialized_dag_update_interval et dag_dir_list_interval sur 30 secondes.

Désactiver la sérialisation des DAG

Vous pouvez activer la sérialisation des DAG pour un environnement existant ou lors de la création d'un environnement.

Pour désactiver la sérialisation des DAG, remplacez les options de configuration Airflow suivantes :

Section	Clé	Valeur
core	store_serialized_dags	False
core	store_dag_code	False