Cloud Composer 1 | Cloud Composer 2
Segui le istruzioni in questa pagina per attivare o disattivare la serializzazione DAG.
In un ambiente Cloud Composer, sia lo scheduler Airflow sia il server web Airflow elaborano continuamente i DAG. Puoi migliorare l'affidabilità e le prestazioni del server web Airflow attivando la serializzazione DAG.
L'abilitazione della serializzazione DAG obbliga lo scheduler a elaborare i file DAG prima che vengano inviati al server web. Il server web non elabora i DAG. ma legge i DAG serializzati dal database Airflow. La serializzazione dei DAG in questo modo riduce l'utilizzo di CPU e memoria del server web, soprattutto durante l'elaborazione di un numero elevato di DAG.
Prima di iniziare
La serializzazione DAG influisce sulle seguenti funzionalità di Cloud Composer:
- La serializzazione DAG non può essere abilitata contemporaneamente al caricamento dei DAG asincrono.
- L'abilitazione della serializzazione DAG disabilita tutti i plug-in dei server web di Airflow per Cloud Composer. Questa operazione non influisce sui plug-in dello scheduler o dei worker, inclusi gli operatori di Airflow, i sensori e così via.
Abilitazione della serializzazione DAG
Puoi abilitare la serializzazione DAG per un ambiente esistente o durante la creazione di un nuovo ambiente.
Per abilitare la serializzazione DAG, esegui l'override delle seguenti opzioni di configurazione di Airflow:
| Sezione | Chiave | Valore |
|---|---|---|
core |
store_serialized_dags |
True |
core |
store_dag_code |
True |
core |
min_serialized_dag_update_interval |
30 |
scheduler |
dag_dir_list_interval |
30 |
L'opzione di configurazione Airflow min_serialized_dag_update_interval controlla la frequenza con cui i DAG serializzati vengono aggiornati nel database.
L'opzione dag_dir_list_interval
controlla la frequenza con cui i DAG rimossi vengono eliminati dal database
Airflow. Un'elevata frequenza di aggiornamento può influire negativamente sul rendimento. Ti
consigliamo di impostare min_serialized_dag_update_interval e
dag_dir_list_interval su 30 secondi.
Disattivazione della serializzazione DAG in corso...
Puoi abilitare la serializzazione DAG per un ambiente esistente o durante la creazione di un nuovo ambiente.
Per disabilitare la serializzazione DAG, esegui l'override delle seguenti opzioni di configurazione di Airflow:
| Sezione | Chiave | Valore |
|---|---|---|
core |
store_serialized_dags |
False |
core |
store_dag_code |
False |