Tentang penskalaan lingkungan

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Halaman ini menjelaskan cara kerja penskalaan lingkungan di Cloud Composer 2.

Halaman lain tentang penskalaan:

Lingkungan penskalaan otomatis

Lingkungan Cloud Composer 2 akan diskalakan secara otomatis sebagai respons terhadap permintaan DAG dan tugas yang dijalankan:

  • Jika lingkungan Anda mengalami beban berat, Cloud Composer akan otomatis meningkatkan jumlah pekerja di lingkungan Anda.
  • Jika lingkungan Anda tidak menggunakan sebagian pekerjanya, pekerja ini akan dihapus untuk menghemat resource dan biaya lingkungan.
  • Anda dapat menetapkan jumlah minimum dan maksimum pekerja untuk lingkungan Anda. Cloud Composer otomatis menskalakan lingkungan Anda sesuai batas yang ditetapkan. Anda dapat menyesuaikan batas ini kapan saja.

Jumlah pekerja disesuaikan berdasarkan metrik Scaling Factor Target. Metrik ini dihitung berdasarkan:

  • Jumlah pekerja saat ini
  • Jumlah tugas Seledri dalam antrean Seledri, yang tidak ditetapkan ke pekerja
  • Jumlah pekerja tidak ada aktivitas
  • celery.worker_concurrency opsi konfigurasi Airflow

Penskalaan otomatis Cloud Composer menggunakan tiga autoscaler berbeda yang disediakan oleh GKE:

Cloud Composer mengonfigurasi autoscaler ini di cluster lingkungan. Tindakan ini akan otomatis menskalakan jumlah node dalam cluster, jenis mesin, dan jumlah worker.

Parameter skala dan performa

Selain penskalaan otomatis, Anda dapat mengontrol skala dan parameter performa lingkungan dengan menyesuaikan batas CPU, memori, dan disk untuk penjadwal, server web, dan worker. Dengan begitu, Anda dapat menskalakan lingkungan secara vertikal, selain penskalaan horizontal yang disediakan oleh fitur penskalaan otomatis. Anda dapat menyesuaikan skala dan parameter performa penjadwal Airflow, server web, dan pekerja kapan saja.

Parameter performa ukuran lingkungan lingkungan Anda mengontrol parameter performa infrastruktur Cloud Composer terkelola yang mencakup database Airflow. Sebaiknya pilih ukuran lingkungan yang lebih besar jika Anda ingin menjalankan DAG dan tugas dalam jumlah besar.



Beberapa penjadwal

Airflow 2 dapat menggunakan lebih dari satu penjadwal Airflow secara bersamaan. Fitur Aliran udara ini juga dikenal sebagai penjadwal HA. Di Cloud Composer 2, Anda dapat menetapkan jumlah penjadwal untuk lingkungan dan menyesuaikannya kapan saja. Cloud Composer tidak secara otomatis menskalakan jumlah penjadwal di lingkungan Anda.

Untuk mengetahui informasi selengkapnya tentang cara mengonfigurasi jumlah penjadwal untuk lingkungan Anda, lihat Menskalakan lingkungan.

Kapasitas disk database

Kapasitas disk untuk database Airflow akan otomatis ditingkatkan untuk mengakomodasi permintaan.

Langkah selanjutnya