Anda dapat melihat diagram pemantauan penskalaan otomatis untuk tugas streaming dalam antarmuka pemantauan Dataflow. Diagram ini menampilkan metrik selama durasi tugas pipeline dan menyertakan informasi berikut:
- Jumlah instance pekerja yang digunakan oleh tugas Anda pada waktu tertentu
- File log penskalaan otomatis
- Estimasi backlog dari waktu ke waktu
- Penggunaan CPU rata-rata dari waktu ke waktu
Diagram disejajarkan secara vertikal sehingga Anda dapat mengaitkan metrik penggunaan CPU dan backlog dengan peristiwa penskalaan pekerja.
Untuk informasi selengkapnya tentang cara Dataflow membuat keputusan penskalaan otomatis, lihat dokumentasi Fitur penyesuaian otomatis. Untuk informasi selengkapnya tentang pemantauan dan metrik Dataflow, lihat Menggunakan antarmuka pemantauan Dataflow.
Mengakses diagram pemantauan penskalaan otomatis
Anda dapat mengakses antarmuka pemantauan Dataflow menggunakan konsol Google Cloud. Untuk mengakses tab metrik Penskalaan Otomatis, ikuti langkah-langkah berikut:
- Login ke konsol Google Cloud.
- Pilih project Google Cloud Anda.
- Buka menu navigasi.
- Di Analytics, klik Dataflow. Daftar tugas Dataflow akan muncul beserta statusnya.
- Klik tugas yang ingin Anda pantau, lalu klik tab Penskalaan otomatis.
Memantau metrik penskalaan otomatis
Layanan Dataflow secara otomatis memilih jumlah instance pekerja yang diperlukan untuk menjalankan tugas penskalaan otomatis Anda. Jumlah instance pekerja dapat berubah dari waktu ke waktu sesuai dengan persyaratan tugas.
Anda dapat melihat metrik penskalaan otomatis di tab Penskalaan otomatis pada antarmuka Dataflow. Setiap metrik diatur ke dalam diagram berikut:
Panel tindakan penskalaan otomatis menampilkan status penskalaan otomatis dan jumlah pekerja saat ini.
Penskalaan otomatis
Diagram Penskalaan Otomatis menampilkan grafik deret waktu dari jumlah pekerja saat ini, jumlah pekerja target, dan jumlah pekerja minimum dan maksimum.
Untuk melihat log penskalaan otomatis, klik Show autoscaling logs.
Untuk melihat histori perubahan penskalaan otomatis, klik Histori lainnya. Tabel dengan informasi tentang histori pekerja pipeline Anda akan ditampilkan. Histori mencakup peristiwa penskalaan otomatis, termasuk apakah jumlah pekerja mencapai jumlah pekerja minimum atau maksimum.
Alasan penskalaan otomatis (khusus Streaming Engine)
Diagram Alasan penskalaan otomatis menunjukkan alasan autoscaler melakukan penskalaan ke atas, penskalaan ke bawah, atau tidak melakukan tindakan selama jangka waktu tertentu.
Untuk melihat deskripsi alasan pada titik tertentu, tahan kursor di atas diagram.
Tabel berikut mencantumkan tindakan penskalaan dan kemungkinan alasan penskalaan.
| Tindakan penskalaan | Alasan | Deskripsi |
|---|---|---|
| Tidak ada perubahan pada penskalaan | Mengumpulkan lebih banyak data untuk pengambilan keputusan | Autoscaler tidak memiliki sinyal yang cukup untuk menskalakan ke atas atau ke bawah. Misalnya, status kumpulan pekerja baru-baru ini berubah; atau metrik backlog atau penggunaan berfluktuasi. |
| Tidak ada perubahan pada penskalaan, sinyal stabil | Melampaui batas yang tidak terkait dengan resource | Penskalaan dibatasi oleh batas seperti paralelisme kunci atau pekerja minimum dan maksimum yang dikonfigurasi. |
| Backlog rendah dan penggunaan pekerja tinggi | Penskalaan otomatis pipeline telah berkonvergensi ke nilai yang stabil mengingat traffic dan konfigurasi saat ini. Tidak diperlukan perubahan penskalaan. | |
| Peningkatan skala | Backlog tinggi | Melakukan penskalaan untuk mengurangi backlog. |
| Penggunaan pekerja yang tinggi | Melakukan penskalaan untuk mencapai target penggunaan CPU. | |
| Melampaui batas yang tidak terkait dengan resource | Jumlah minimum pekerja telah diperbarui, dan jumlah pekerja saat ini berada di bawah minimum yang dikonfigurasi. | |
| Perkecil skala | Penggunaan pekerja rendah | Menskalakan ke bawah untuk mencapai target penggunaan CPU. |
| Melampaui batas yang tidak terkait dengan resource | Jumlah maksimum pekerja telah diperbarui, dan jumlah pekerja saat ini berada di atas maksimum yang dikonfigurasi. |
Pemakaian CPU pekerja
Pemakaian CPU adalah jumlah CPU yang digunakan dibagi dengan jumlah CPU yang tersedia untuk pemrosesan. Diagram Mean CPU utilization menunjukkan penggunaan CPU rata-rata untuk semua pekerja dari waktu ke waktu, petunjuk penggunaan pekerja, dan apakah Dataflow secara aktif menggunakan petunjuk tersebut sebagai target.
Backlog (khusus Streaming Engine)
Diagram Backlog maksimum memberikan informasi tentang elemen yang menunggu untuk diproses. Diagram menunjukkan estimasi jumlah waktu dalam detik yang diperlukan untuk menggunakan backlog saat ini jika tidak ada data baru yang masuk dan throughput tidak berubah. Estimasi waktu backlog dihitung dari throughput dan byte backlog dari sumber input yang masih perlu diproses. Metrik ini digunakan oleh fitur penskalaan otomatis streaming untuk menentukan kapan harus menskalakan ke atas atau ke bawah.
Data untuk diagram ini hanya tersedia untuk tugas yang menggunakan Streaming Engine. Jika tugas streaming Anda tidak menggunakan Streaming Engine, diagram akan kosong.
Rekomendasi
Berikut adalah beberapa perilaku yang mungkin Anda amati di pipeline, dan rekomendasi tentang cara menyesuaikan penskalaan otomatis:
Penurunan skala yang berlebihan. Jika penggunaan CPU target ditetapkan terlalu tinggi, Anda mungkin melihat pola saat Dataflow diskalakan ke bawah, backlog mulai bertambah, dan Dataflow diskalakan ke atas lagi untuk mengimbangi, bukan berkonvergensi pada jumlah pekerja yang stabil. Untuk mengurangi masalah ini, coba tetapkan petunjuk penggunaan pekerja yang lebih rendah. Amati penggunaan CPU pada titik saat backlog mulai tumbuh, dan tetapkan petunjuk penggunaan ke nilai tersebut.
Proses penskalaan yang terlalu lambat. Jika terlalu lambat, penskalaan mungkin tertinggal dari lonjakan traffic, sehingga menyebabkan periode peningkatan latensi. Coba kurangi petunjuk penggunaan pekerja, sehingga Dataflow diskalakan lebih cepat. Amati penggunaan CPU pada titik saat backlog mulai bertambah, dan tetapkan petunjuk penggunaan ke nilai tersebut. Pantau latensi dan biaya, karena nilai petunjuk yang lebih rendah dapat meningkatkan total biaya untuk pipeline, jika lebih banyak pekerja disediakan.
Peningkatan resolusi yang berlebihan. Jika Anda mengamati penskalaan yang berlebihan, yang mengakibatkan peningkatan biaya, pertimbangkan untuk meningkatkan petunjuk penggunaan pekerja. Pantau latensi untuk memastikannya tetap dalam batas yang dapat diterima untuk skenario Anda.
Untuk informasi selengkapnya, lihat Menetapkan petunjuk penggunaan pekerja. Saat Anda bereksperimen dengan nilai petunjuk penggunaan pekerja baru, tunggu beberapa menit hingga pipeline stabil setelah setiap penyesuaian.
Langkah selanjutnya
- Menyesuaikan Penskalaan Otomatis Horizontal untuk pipeline streaming
- Memecahkan masalah penskalaan otomatis Dataflow