Tentang penskalaan lingkungan

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Halaman ini menjelaskan cara kerja penskalaan lingkungan di Cloud Composer 2.

Halaman lain tentang penskalaan:

Lingkungan penskalaan otomatis

Lingkungan Cloud Composer 2 akan diskalakan secara otomatis sebagai respons terhadap permintaan DAG dan tugas yang dijalankan:

  • Jika lingkungan Anda mengalami beban berat, Cloud Composer secara otomatis akan meningkatkan jumlah pekerja di lingkungan Anda.
  • Jika lingkungan Anda tidak menggunakan sebagian pekerjanya, dihapus untuk menghemat sumber daya dan biaya lingkungan.
  • Anda dapat menetapkan jumlah minimum dan maksimum pekerja untuk lingkungan Anda. Cloud Composer menskalakan lingkungan Anda secara otomatis dalam menetapkan batasan. Anda dapat menyesuaikan batas ini kapan saja.

Jumlah pekerja disesuaikan berdasarkan metrik Scaling Factor Target. Metrik ini adalah dihitung berdasarkan:

  • Jumlah pekerja saat ini
  • Jumlah tugas Seledri dalam antrean Seledri, yang tidak ditetapkan ke pekerja
  • Jumlah pekerja tidak ada aktivitas
  • celery.worker_concurrency opsi konfigurasi Airflow

Penskalaan otomatis Cloud Composer menggunakan tiga autoscaler yang berbeda yang disediakan oleh GKE:

Cloud Composer mengonfigurasi autoscaler ini di lingkungan . Hal ini secara otomatis menskalakan jumlah node di cluster, jenis mesin dan jumlah pekerja.

Parameter skala dan performa

Selain penskalaan otomatis, Anda dapat mengontrol skala dan performa parameter lingkungan Anda dengan menyesuaikan batas CPU, memori, dan disk untuk penjadwal, server web, dan pekerja. Dengan melakukannya, Anda dapat meningkatkan secara vertikal, selain penskalaan horizontal yang disediakan oleh fitur penskalaan otomatis ini. Anda dapat menyesuaikan skala dan parameter performa Penjadwal Airflow, server web, dan pekerja kapan saja.

Parameter performa ukuran lingkungan lingkungan Anda mengontrol parameter performa infrastruktur Cloud Composer terkelola yang menyertakan database Airflow. Pertimbangkan untuk memilih lingkungan yang lebih besar jika Anda ingin menjalankan DAG dan tugas dalam jumlah besar.



Beberapa penjadwal

Airflow 2 dapat menggunakan lebih dari satu penjadwal Airflow secara bersamaan. Ini Fitur aliran udara juga dikenal sebagai penjadwal HA. Di Cloud Composer 2, Anda dapat menyetel jumlah penjadwal untuk lingkungan Anda dan menyesuaikannya kapan baik. Cloud Composer tidak secara otomatis menskalakan jumlah penjadwal di lingkungan Anda.

Untuk informasi selengkapnya tentang mengonfigurasi jumlah penjadwal untuk yang sesuai, lihat Menskalakan lingkungan.

Kapasitas disk database

Ruang disk untuk database Airflow secara otomatis bertambah untuk mengakomodasi permintaan tinggi.

Langkah selanjutnya