Abilitazione e disabilitazione della serializzazione DAG

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Segui le istruzioni riportate in questa pagina per attivare o disattivare la serializzazione DAG.

In un ambiente Cloud Composer, sia lo scheduler Airflow sia il server web Airflow elaborano continuamente i DAG. Puoi migliorare l'affidabilità e le prestazioni del server web di Airflow attivando la serializzazione DAG.

L'abilitazione della serializzazione DAG forza lo scheduler a elaborare i file DAG prima che vengano inviati al server web. Il server web non elabora i DAG. Legge invece i DAG serializzati dal database Airflow. La serializzazione delle DAG in questo modo riduce l'utilizzo della CPU e della memoria del server web, in particolare durante l'elaborazione di un numero elevato di DAG.

Prima di iniziare

Nota: a partire dalla versione 1.15.0 di Cloud Composer, la serializzazione DAG è abilitata per impostazione predefinita. Puoi attivare e disattivare la serializzazione dei DAG in ambienti nuovi ed esistenti sovrascrivendo le opzioni di configurazione di Airflow, come descritto nelle sezioni seguenti.

La serializzazione DAG influisce sulle seguenti funzionalità di Cloud Composer:

• La serializzazione DAG non può essere attivata contemporaneamente al caricamento DAG asincrono.
• L'abilitazione della serializzazione DAG disabilita tutti i plug-in del server web Airflow per con Cloud Composer. Questo non influisce sui plug-in di scheduler o worker, inclusi operatori Airflow, sensori e così via.

Abilitazione della serializzazione DAG

Puoi attivare la serializzazione DAG per un ambiente esistente o quando ne crei uno nuovo.

Nota: non applicare queste impostazioni agli ambienti che eseguono Airflow 2.x. La serializzazione del DAG e la memorizzazione del codice DAG nel database di metadati di Airflow sono attivate per impostazione predefinita in Airflow 2.x e non puoi attivarle o disattivarle.

Per abilitare la serializzazione DAG, esegui l'override delle seguenti opzioni di configurazione di Airflow:

Sezione	Chiave	Valore
core	store_serialized_dags	True
core	store_dag_code	True
core	min_serialized_dag_update_interval	30
scheduler	dag_dir_list_interval	30

La min_serialized_dag_update_interval L'opzione di configurazione Airflow controlla la frequenza dei DAG serializzati vengono aggiornate nel database. L'opzione dag_dir_list_interval controlla la frequenza con cui i DAG rimossi vengono eliminati dal database Airflow. Un'elevata frequenza di aggiornamento può influire negativamente sulle prestazioni. Ti consigliamo di impostare min_serialized_dag_update_interval e dag_dir_list_interval su 30 secondi.

Disattivazione della serializzazione DAG

Puoi abilitare la serializzazione DAG per un ambiente esistente o durante la creazione un nuovo ambiente.

Per disattivare la serializzazione DAG, esegui l'override delle seguenti opzioni di configurazione di Airflow:

Sezione	Chiave	Valore
core	store_serialized_dags	False
core	store_dag_code	False