Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1
Segui le istruzioni riportate in questa pagina per attivare o disattivare la serializzazione DAG.
In un ambiente Cloud Composer, sia lo scheduler Airflow sia il server web Airflow elaborano continuamente i DAG. Puoi migliorare l'affidabilità e le prestazioni del server web di Airflow attivando la serializzazione DAG.
L'abilitazione della serializzazione DAG forza lo scheduler a elaborare i file DAG prima che vengano inviati al server web. Il server web non elabora i DAG. Legge invece i DAG serializzati dal database Airflow. La serializzazione delle DAG in questo modo riduce l'utilizzo della CPU e della memoria del server web, in particolare durante l'elaborazione di un numero elevato di DAG.
Prima di iniziare
La serializzazione DAG influisce sulle seguenti funzionalità di Cloud Composer:
- La serializzazione DAG non può essere attivata contemporaneamente al caricamento DAG asincrono.
- L'attivazione della serializzazione DAG disattiva tutti i plug-in del server web Airflow per Cloud Composer. Ciò non influisce sui plug-in di scheduler o worker, inclusi gli operatori, i sensori e così via di Airflow.
Abilitazione della serializzazione DAG
Puoi attivare la serializzazione DAG per un ambiente esistente o quando crei un nuovo ambiente.
Per attivare la serializzazione DAG, esegui l'override delle seguenti opzioni di configurazione di Airflow:
| Sezione | Chiave | Valore |
|---|---|---|
core |
store_serialized_dags |
True |
core |
store_dag_code |
True |
core |
min_serialized_dag_update_interval |
30 |
scheduler |
dag_dir_list_interval |
30 |
L'opzione di configurazione di Airflow min_serialized_dag_update_interval controlla la frequenza con cui i DAG serializzati vengono aggiornati nel database.
L'opzione dag_dir_list_interval controlla la frequenza con cui i DAG rimossi vengono eliminati dal database Airflow. Una frequenza di aggiornamento elevata può influire negativamente sulle prestazioni. Ti consigliamo di impostare min_serialized_dag_update_interval e
dag_dir_list_interval su 30 secondi.
Disattivazione della serializzazione DAG
Puoi attivare la serializzazione DAG per un ambiente esistente o quando crei un nuovo ambiente.
Per disattivare la serializzazione DAG, esegui l'override delle seguenti opzioni di configurazione di Airflow:
| Sezione | Chiave | Valore |
|---|---|---|
core |
store_serialized_dags |
False |
core |
store_dag_code |
False |