Cloud Composer 1 è in modalità post-manutenzione. Google non rilascia ulteriori aggiornamenti a Cloud Composer 1, incluse nuove versioni di Airflow, correzioni di bug e aggiornamenti della sicurezza. Ti consigliamo di pianificare la migrazione a Cloud Composer 2.
Segui le istruzioni riportate in questa pagina per attivare o disattivare la serializzazione DAG.
In un ambiente Cloud Composer, sia lo scheduler Airflow sia il server web Airflow elaborano continuamente i DAG. Puoi migliorare
l'affidabilità e le prestazioni del server web di Airflow attivando la
serializzazione DAG.
L'abilitazione della serializzazione DAG forza lo scheduler a elaborare i file DAG
prima che vengano inviati al server web. Il server web non elabora i DAG.
Legge invece i DAG serializzati dal database Airflow. La serializzazione
delle DAG in questo modo riduce l'utilizzo della CPU e della memoria del server web,
in particolare durante l'elaborazione di un numero elevato di DAG.
Prima di iniziare
La serializzazione DAG influisce sulle seguenti funzionalità di Cloud Composer:
L'attivazione della serializzazione DAG disattiva tutti i plug-in del server web Airflow per Cloud Composer. Ciò non influisce sui plug-in di scheduler o worker, inclusi gli operatori, i sensori e così via di Airflow.
Abilitazione della serializzazione DAG
Puoi attivare la serializzazione DAG per un ambiente esistente o quando crei un nuovo ambiente.
Per attivare la serializzazione DAG,
esegui l'override delle seguenti opzioni di configurazione di Airflow:
Sezione
Chiave
Valore
core
store_serialized_dags
True
core
store_dag_code
True
core
min_serialized_dag_update_interval
30
scheduler
dag_dir_list_interval
30
L'opzione di configurazione di Airflow min_serialized_dag_update_interval controlla la frequenza con cui i DAG serializzati vengono aggiornati nel database.
L'opzione dag_dir_list_interval controlla la frequenza con cui i DAG rimossi vengono eliminati dal database Airflow. Una frequenza di aggiornamento elevata può influire negativamente sulle prestazioni. Ti consigliamo di impostare min_serialized_dag_update_interval e
dag_dir_list_interval su 30 secondi.
Disattivazione della serializzazione DAG
Puoi attivare la serializzazione DAG per un ambiente esistente o quando crei un nuovo ambiente.
Per disattivare la serializzazione DAG, esegui l'override delle seguenti opzioni di configurazione di Airflow:
[[["Facile da capire","easyToUnderstand","thumb-up"],["Il problema è stato risolto","solvedMyProblem","thumb-up"],["Altra","otherUp","thumb-up"]],[["Difficile da capire","hardToUnderstand","thumb-down"],["Informazioni o codice di esempio errati","incorrectInformationOrSampleCode","thumb-down"],["Mancano le informazioni o gli esempi di cui ho bisogno","missingTheInformationSamplesINeed","thumb-down"],["Problema di traduzione","translationIssue","thumb-down"],["Altra","otherDown","thumb-down"]],["Ultimo aggiornamento 2025-03-06 UTC."],[[["DAG serialization in Cloud Composer improves the reliability and performance of the Airflow web server by having the scheduler process DAG files before they are sent, reducing the web server's CPU and memory usage."],["Starting with Cloud Composer version 1.15.0, DAG serialization is enabled by default, and it can be managed by overriding Airflow configuration options in both new and existing environments."],["Enabling DAG serialization requires setting the `store_serialized_dags` and `store_dag_code` Airflow configuration options to `True`, along with recommended settings of `30` for both `min_serialized_dag_update_interval` and `dag_dir_list_interval`."],["Disabling DAG serialization involves overriding the `store_serialized_dags` and `store_dag_code` Airflow configuration options and setting them to `False`."],["DAG serialization is incompatible with asynchronous DAG loading and will disable all Airflow web server plugins, although scheduler and worker plugins remain unaffected."]]],[]]
