Mengaktifkan dan menonaktifkan serialisasi DAG

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Ikuti petunjuk di halaman ini untuk mengaktifkan atau menonaktifkan serialisasi DAG.

Di lingkungan Cloud Composer, penjadwal Airflow dan server web Airflow terus memproses DAG. Anda dapat meningkatkan keandalan dan performa server web Airflow dengan mengaktifkan serialisasi DAG.

Mengaktifkan serialisasi DAG akan memaksa penjadwal untuk memproses file DAG sebelum dikirim ke server web. Server web tidak memproses DAG. Sebagai gantinya, ia membaca DAG yang diserialisasi dari database Airflow. Dengan serialisasi DAG dengan cara ini, penggunaan CPU dan memori server web akan berkurang, terutama saat memproses DAG dalam jumlah besar.

Sebelum memulai

Catatan: Mulai dari Cloud Composer versi 1.15.0, serialisasi DAG diaktifkan secara default. Anda dapat mengaktifkan dan menonaktifkan serialisasi DAG di lingkungan baru dan yang sudah ada dengan mengganti opsi konfigurasi Airflow, seperti yang dijelaskan di bagian berikut.

Serialisasi DAG memengaruhi fitur Cloud Composer berikut:

• Serialisasi DAG tidak dapat diaktifkan secara bersamaan dengan pemuatan DAG asinkron.
• Mengaktifkan serialisasi DAG akan menonaktifkan semua plugin server web Airflow untuk Cloud Composer. Hal ini tidak memengaruhi plugin penjadwal atau pekerja, termasuk operator Airflow, sensor, dan sebagainya.

Mengaktifkan serialisasi DAG

Anda dapat mengaktifkan serialisasi DAG untuk lingkungan yang ada atau saat membuat lingkungan baru.

Catatan: Jangan terapkan setelan ini ke lingkungan yang menjalankan Airflow 2.x. Serialisasi DAG dan penyimpanan kode DAG di Database Metadata Airflow secara default diaktifkan di Airflow 2.x dan Anda tidak dapat mengaktifkan atau menonaktifkannya.

Untuk mengaktifkan serialisasi DAG, ganti opsi konfigurasi Airflow berikut:

Bagian	Kunci	Nilai
core	store_serialized_dags	True
core	store_dag_code	True
core	min_serialized_dag_update_interval	30
scheduler	dag_dir_list_interval	30

Opsi konfigurasi Airflow min_serialized_dag_update_interval mengontrol seberapa sering DAG serial diperbarui dalam database. Opsi dag_dir_list_interval mengontrol seberapa sering DAG yang dihapus dihapus dari database Airflow. Frekuensi update yang tinggi dapat berdampak negatif pada performa. Sebaiknya tetapkan min_serialized_dag_update_interval dan dag_dir_list_interval ke 30 detik.

Menonaktifkan serialisasi DAG

Anda dapat mengaktifkan serialisasi DAG untuk lingkungan yang ada atau saat membuat lingkungan baru.

Untuk menonaktifkan serialisasi DAG, ganti opsi konfigurasi Airflow berikut:

Bagian	Kunci	Nilai
core	store_serialized_dags	False
core	store_dag_code	False