Tentang penskalaan lingkungan

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Halaman ini menjelaskan cara kerja penskalaan lingkungan di Cloud Composer 2.

Halaman lain tentang penskalaan:

Lingkungan penskalaan otomatis

Lingkungan Cloud Composer 2 secara otomatis diskalakan sebagai respons terhadap permintaan DAG dan tugas yang dieksekusi:

  • Jika lingkungan Anda mengalami beban berat, Cloud Composer akan otomatis meningkatkan jumlah pekerja di lingkungan Anda.
  • Jika lingkungan Anda tidak menggunakan beberapa pekerjanya, pekerja ini akan dihapus untuk menghemat resource dan biaya lingkungan.
  • Anda dapat menetapkan jumlah pekerja minimum dan maksimum untuk lingkungan Anda. Cloud Composer akan otomatis menskalakan lingkungan Anda dalam batas yang ditetapkan. Anda dapat menyesuaikan batas ini kapan saja.

Jumlah pekerja disesuaikan berdasarkan metrik Target Faktor Penskalaan. Metrik ini dihitung berdasarkan:

  • Jumlah pekerja saat ini
  • Jumlah tugas Celery dalam antrean Celery, yang tidak ditetapkan ke pekerja
  • Jumlah pekerja yang tidak ada aktivitas
  • celery.worker_concurrency Opsi konfigurasi Airflow

Penskalaan otomatis Cloud Composer menggunakan tiga autoscaler berbeda yang disediakan oleh GKE:

Cloud Composer mengonfigurasi autoscaler ini di cluster lingkungan. Tindakan ini akan otomatis menskalakan jumlah node dalam cluster, jenis mesin, dan jumlah pekerja.

Parameter skala dan performa

Selain penskalaan otomatis, Anda dapat mengontrol parameter skala dan performa lingkungan dengan menyesuaikan batas CPU, memori, dan disk untuk penjadwal, server web, dan pekerja. Dengan demikian, Anda dapat menskalakan lingkungan secara vertikal, selain penskalaan horizontal yang disediakan oleh fitur penskalaan otomatis. Anda dapat menyesuaikan parameter skala dan performa penjadwal Airflow, server web, dan pekerja kapan saja.

Parameter performa ukuran lingkungan di lingkungan Anda mengontrol parameter performa infrastruktur Cloud Composer terkelola yang menyertakan database Airflow. Pertimbangkan untuk memilih ukuran lingkungan yang lebih besar jika Anda ingin menjalankan sejumlah besar DAG dan tugas dengan performa infrastruktur yang lebih tinggi. Misalnya, ukuran lingkungan yang lebih besar akan meningkatkan jumlah entri log tugas Airflow yang dapat diproses lingkungan Anda dengan penundaan minimal.

Beberapa penjadwal

Airflow 2 dapat menggunakan lebih dari satu penjadwal Airflow secara bersamaan. Fitur Airflow ini juga dikenal sebagai penjadwal HA. Di Cloud Composer 2, Anda dapat menetapkan jumlah penjadwal untuk lingkungan dan menyesuaikannya kapan saja. Cloud Composer tidak otomatis menskalakan jumlah penjadwal di lingkungan Anda.

Untuk informasi selengkapnya tentang cara mengonfigurasi jumlah penjadwal untuk lingkungan Anda, lihat Menskalakan lingkungan.

Kapasitas disk database

Kapasitas disk untuk database Airflow akan otomatis bertambah untuk mengakomodasi permintaan.

Langkah selanjutnya