Activer et désactiver la sérialisation des DAG

Suivez les instructions de cette page pour activer ou désactiver la sérialisation des DAG.

Dans un environnement Cloud Composer, le programmeur Airflow et le serveur Web Airflow traitent en continu les DAG. Vous pouvez améliorer la fiabilité et les performances du serveur Web Airflow en activant la sérialisation des DAG.

L'activation de la sérialisation des DAG oblige le programmeur à traiter les fichiers DAG avant leur envoi au serveur Web. Le serveur Web ne traite pas les DAG. À la place, il lit les DAG sérialisés de la base de données Airflow. Ce type de DAG réduit l'utilisation du processeur et de la mémoire du serveur Web, en particulier lors du traitement d'un grand nombre de DAG.

Avant de commencer

La sérialisation des DAG a une incidence sur les fonctionnalités Cloud Composer suivantes:

  • La sérialisation des DAG ne peut pas être activée en même temps que le chargement asynchrone des DAG.
  • L'activation de la sérialisation des DAG désactive tous les plug-ins du serveur Web Airflow pour Cloud Composer. Cela n'a aucune incidence sur les plug-ins du programmeur ou des nœuds de calcul, y compris les opérateurs Airflow, les capteurs, etc.

Activer la sérialisation des DAG

Vous pouvez activer la sérialisation des DAG sur un environnement existant ou lors de la création d'un nouvel environnement.

Pour activer la sérialisation des DAG, remplacez les options de configuration Airflow suivantes:

Section Clé Valeur
core store_serialized_dags True
core store_dag_code True
core min_serialized_dag_update_interval 30
scheduler dag_dir_list_interval 30

L'option de configuration Airflow min_serialized_dag_update_interval contrôle la fréquence de mise à jour des DAG sérialisés dans la base de données. L'option dag_dir_list_interval contrôle la fréquence à laquelle les DAG supprimés sont supprimés de la base de données Airflow. Une fréquence de mise à jour élevée peut avoir un impact négatif sur les performances. Nous vous recommandons de définir min_serialized_dag_update_interval et dag_dir_list_interval sur 30 secondes.

Désactiver la sérialisation des DAG

Vous pouvez activer la sérialisation des DAG sur un environnement existant ou lors de la création d'un nouvel environnement.

Pour désactiver la sérialisation des DAG, remplacez les options de configuration Airflow suivantes:

Section Clé Valeur
core store_serialized_dags False
core store_dag_code False