Penskalaan lingkungan

Cloud Composer 1 | Cloud Composer 2

Halaman ini menjelaskan cara kerja penskalaan lingkungan di Cloud Composer 2.

Halaman lain tentang penskalaan:

Lingkungan penskalaan otomatis

Lingkungan Cloud Composer 2 otomatis diskalakan sebagai respons terhadap permintaan DAG dan tugas yang dijalankan:

  • Jika lingkungan Anda mengalami beban berat, Cloud Composer otomatis meningkatkan jumlah pekerja di lingkungan Anda.
  • Jika lingkungan Anda tidak menggunakan sebagian pekerjanya, pekerja ini akan dihapus untuk menghemat resource dan biaya lingkungan.
  • Anda dapat menetapkan jumlah minimum dan maksimum pekerja untuk lingkungan Anda. Cloud Composer otomatis menskalakan lingkungan Anda dalam batas yang ditetapkan. Anda dapat menyesuaikan batas ini kapan saja.

Jumlah pekerja disesuaikan berdasarkan metrik Target Faktor Penskalaan. Metrik ini dihitung berdasarkan:

  • Jumlah pekerja saat ini
  • Jumlah tugas Celery di antrean Celery, yang tidak ditetapkan ke pekerja
  • Jumlah pekerja yang menganggur
  • Opsi konfigurasi Airflow celery.worker_concurrency

Penskalaan otomatis Cloud Composer menggunakan tiga penskalaan otomatis berbeda yang disediakan oleh GKE:

Cloud Composer mengonfigurasi penskalaan otomatis ini di cluster lingkungan. Tindakan ini akan otomatis menskalakan jumlah node dalam cluster, jenis mesin, dan jumlah pekerja.

Parameter skala dan performa

Selain penskalaan otomatis, Anda dapat mengontrol skala dan parameter performa lingkungan dengan menyesuaikan batas CPU, memori, dan disk untuk penjadwal, server web, dan pekerja. Dengan begitu, Anda dapat menskalakan lingkungan secara vertikal, selain penskalaan horizontal yang disediakan oleh fitur penskalaan otomatis. Anda dapat menyesuaikan parameter skala dan performa untuk penjadwal Airflow, server web, dan pekerja kapan saja.

Parameter performa ukuran lingkungan lingkungan Anda mengontrol parameter performa infrastruktur Cloud Composer terkelola yang mencakup database Airflow. Pertimbangkan untuk memilih ukuran lingkungan yang lebih besar jika Anda ingin menjalankan DAG dan tugas dalam jumlah besar.



Beberapa penjadwal

Airflow 2 dapat menggunakan lebih dari satu penjadwal Airflow secara bersamaan. Fitur Airflow ini juga dikenal sebagai penjadwal dengan ketersediaan tinggi (HA). Di Cloud Composer 2, Anda dapat menetapkan jumlah penjadwal untuk lingkungan Anda dan menyesuaikannya kapan saja. Cloud Composer tidak secara otomatis menskalakan jumlah penjadwal di lingkungan Anda.

Untuk mengetahui informasi selengkapnya tentang cara mengonfigurasi jumlah penjadwal untuk lingkungan Anda, lihat Menskalakan lingkungan.

Kapasitas disk database

Kapasitas disk untuk database Airflow bertambah secara otomatis untuk mengakomodasi permintaan.

Langkah selanjutnya