Cloud Composer 1 | Cloud Composer 2
Ikuti petunjuk di halaman ini untuk mengaktifkan atau menonaktifkan serialisasi DAG.
Di lingkungan Cloud Composer, penjadwal Airflow dan server web Airflow akan terus memproses DAG. Anda dapat meningkatkan keandalan dan performa server web Airflow dengan mengaktifkan serialisasi DAG.
Mengaktifkan serialisasi DAG akan memaksa penjadwal untuk memproses file DAG sebelum dikirim ke server web. Server web tidak memproses DAG. Sebagai gantinya, alat ini membaca DAG yang diserialisasi dari database Airflow. Serialisasi DAG dengan cara ini akan mengurangi penggunaan CPU dan memori server web, terutama saat memproses DAG dalam jumlah besar.
Sebelum memulai
Serialisasi DAG memengaruhi fitur Cloud Composer berikut:
- Serialisasi DAG tidak dapat diaktifkan bersamaan dengan pemuatan DAG asinkron.
- Mengaktifkan serialisasi DAG akan menonaktifkan semua plugin server web Airflow untuk Cloud Composer. Hal ini tidak memengaruhi penjadwal atau plugin pekerja, termasuk operator Airflow, sensor, dan sebagainya.
Mengaktifkan serialisasi DAG
Anda dapat mengaktifkan serialisasi DAG untuk lingkungan yang sudah ada atau saat membuat lingkungan baru.
Untuk mengaktifkan serialisasi DAG, ganti opsi konfigurasi Airflow berikut:
Bagian | Kunci | Nilai |
---|---|---|
core |
store_serialized_dags |
True |
core |
store_dag_code |
True |
core |
min_serialized_dag_update_interval |
30 |
scheduler |
dag_dir_list_interval |
30 |
Opsi konfigurasi min_serialized_dag_update_interval
Airflow mengontrol seberapa sering DAG serial
diupdate dalam database.
Opsi dag_dir_list_interval
mengontrol seberapa sering DAG yang dihapus dihapus dari database
Airflow. Frekuensi update yang tinggi dapat berdampak negatif pada performa. Sebaiknya
tetapkan min_serialized_dag_update_interval
dan
dag_dir_list_interval
ke 30 detik.
Menonaktifkan serialisasi DAG
Anda dapat mengaktifkan serialisasi DAG untuk lingkungan yang sudah ada atau saat membuat lingkungan baru.
Untuk menonaktifkan serialisasi DAG, ganti opsi konfigurasi Airflow berikut:
Bagian | Kunci | Nilai |
---|---|---|
core |
store_serialized_dags |
False |
core |
store_dag_code |
False |