Antarmuka pemantauan berbasis web Dataflow mencakup dasbor yang memantau tugas Dataflow di level project. Diagram menampilkan data untuk semua tugas dalam satu project.
Dasbor dapat membantu Anda melakukan tugas-tugas berikut:
- Mendeteksi dan mengidentifikasi sumber error kuota.
- Mendeteksi penskalaan otomatis horizontal yang tidak wajar dalam tugas.
- Mengidentifikasi tugas streaming yang lambat atau macet.
Dasbor ini menggunakan Cloud Monitoring untuk mengakses metrik tugas Dataflow. Untuk menyesuaikan informasi yang ditampilkan dalam diagram, gunakan Metrics Explorer.
Fitur
Dasbor ini mencakup fitur berikut:
- Memilih tugas yang akan muncul di dasbor dengan menggunakan ekspresi reguler.
- Akses halaman detail pekerjaan dari diagram individual.
- Sesuaikan widget dan diagram dasbor.
Peran yang diperlukan
Untuk mendapatkan izin yang diperlukan untuk melihat data grafik, minta administrator untuk memberi Anda peran IAM Monitoring Viewer (roles/monitoring.viewer).
Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses.
Peran yang telah ditetapkan ini berisi izin monitoring.timeSeries.list, yang diperlukan untuk melihat data grafik.
Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.
Metrik
Secara default, diagram berikut muncul di dasbor Anda. Untuk mengetahui informasi selengkapnya tentang metrik yang ditampilkan, lihat Metrik tugas.
| Tangga lagu | Deskripsi | Dukungan |
|---|---|---|
| Tugas yang berjalan | Diagram deret waktu yang menampilkan jumlah tugas yang berjalan dalam project. | Tugas batch dan streaming |
| Pekerja per tugas | Diagram deret waktu yang menunjukkan jumlah pekerja yang digunakan per tugas. Gunakan diagram ini untuk memahami perilaku penskalaan otomatis di seluruh project.
Anda dapat melihat apakah tugas memiliki perilaku penskalaan yang tidak terduga atau tidak biasa. Gunakan diagram ini dengan diagram kuota dan CPU untuk mengidentifikasi tugas yang penskalaannya dibatasi oleh error kuota. |
Tugas batch dan streaming |
| Error karena kuota terlampaui | Diagram deret waktu yang menampilkan histori error kuota terlampaui dalam project, yang dicakupkan ke kuota CPU Compute Engine. Compute Engine memiliki total kuota CPU per region dan, untuk beberapa kelompok mesin, kuota per jenis per region. Salah satu kuota ini dapat mencegah tugas dimulai atau ditingkatkan skalanya. Gunakan diagram ini dengan diagram kuota dan CPU untuk mengidentifikasi sumber error kuota. |
Tugas batch dan streaming |
| CPU per tugas | Diagram deret waktu yang menunjukkan jumlah CPU yang digunakan oleh pekerja dari setiap tugas. Diagram ini juga menunjukkan jenis dan lokasi mesin
untuk setiap tugas. Jenis mesin dalam kelompok yang sama memiliki jumlah CPU yang berbeda. Jumlah total CPU memengaruhi kuota Compute Engine. Gunakan diagram ini untuk mengidentifikasi sumber error kuota. |
Tugas batch dan streaming |
| Latensi sistem | Diagram deret waktu yang menunjukkan jumlah detik maksimum saat item data telah diproses atau menunggu pemrosesan untuk setiap tugas. Gunakan diagram ini untuk mengidentifikasi tugas streaming yang memiliki penundaan tidak biasa antara saat data muncul di sumber dan ditulis ke semua sink. |
Tugas streaming |
| Keaktualan data | Diagram deret waktu yang menunjukkan keaktualan data maksimum untuk setiap tahapan di setiap tugas. Gunakan diagram ini untuk menemukan tugas streaming yang mungkin berjalan lambat atau terhenti. |
Tugas streaming |
| Byte backlog maks | Diagram deret waktu yang menunjukkan byte backlog maksimum untuk setiap tahap di setiap tugas. Gunakan diagram ini untuk mengidentifikasi anomali yang menunjukkan bottleneck dalam pemrosesan. |
Tugas streaming |
Mengakses dasbor
Untuk mengakses dasbor, ikuti langkah-langkah berikut:
- Login ke konsol Google Cloud.
- Pilih project Google Cloud Anda.
- Buka menu navigasi.
- Di Analytics, klik Dataflow.
Di menu navigasi Dataflow, klik Monitoring.
Menyesuaikan dasbor
Anda dapat menyesuaikan konten dasbor dan informasi yang ditampilkan dalam diagram. Saat Anda mengedit dasbor, dasbor baru yang disesuaikan akan dibuat.
Dasbor ini menggunakan Cloud Monitoring untuk mengakses metrik tugas Dataflow. Gunakan alat Cloud Monitoring untuk menyesuaikan diagram.
- Buka dasbor lalu klik Sesuaikan Dasbor.
- Ubah dasbor Anda.
- Untuk memfilter tugas yang ditampilkan di dasbor, lihat Menambahkan filter sementara ke dasbor kustom dan Menambahkan filter permanen ke dasbor kustom.
- Untuk mengedit atau menghapus widget, lihat Mengelola widget dasbor.
- Untuk mengedit konten diagram, lihat Memilih metrik untuk diagram di dasbor.
- Untuk menambahkan diagram ke dasbor, lihat Menambahkan diagram dan tabel ke dasbor kustom.
- Klik Simpan, lalu klik Lihat dasbor yang disesuaikan.
Setelah Anda membuat dasbor yang disesuaikan, untuk kembali ke dasbor default, pada menu Dasbor, pilih Standar.
Pemecahan masalah
Bagian ini memberikan petunjuk untuk memecahkan masalah umum
Data tidak tersedia
Saat Anda membuka dasbor, satu atau beberapa diagram akan menampilkan pesan berikut:
No data is available for the selected time frame.
Pesan ini muncul saat jangka waktu yang dicakup dalam diagram tidak memiliki data apa pun. Untuk mengatasi masalah ini, ubah atau perluas rentang waktu.
Untuk mengubah rentang waktu yang ditampilkan, pada diagram, klik Jelajahi data, lalu gunakan pemilih rentang waktu.
Tidak dapat memulihkan widget yang dihapus
Saat menghapus widget dari dasbor, Anda membuat dasbor yang disesuaikan. Setelah Anda membuat dasbor yang disesuaikan, untuk kembali ke dasbor default, pada menu Dasbor, pilih Standar.
Tidak dapat melihat diagram
Untuk melihat data grafik, Anda memerlukan izin
monitoring.timeSeries.list. Untuk mengetahui informasi selengkapnya, lihat Peran yang diperlukan.
Langkah selanjutnya
- Pelajari setiap metrik pekerjaan lebih lanjut.
- Mempelajari metrik dengan Cloud Monitoring.
- Memecahkan masalah tugas yang lambat atau macet.