Dasbor pemantauan project Dataflow

Antarmuka pemantauan berbasis web Dataflow mencakup dasbor yang memantau tugas Dataflow Anda di tingkat project. Diagram ini menampilkan data untuk semua tugas dalam satu project.

Buka dasbor

Dasbor dapat membantu Anda melakukan tugas berikut:

  • Mendeteksi dan mengidentifikasi sumber error kuota.
  • Mendeteksi penskalaan otomatis horizontal yang tidak normal dalam tugas.
  • Identifikasi tugas streaming yang lambat atau macet.

Dasbor menggunakan Cloud Monitoring untuk mengakses metrik tugas Dataflow. Untuk menyesuaikan informasi yang ditampilkan dalam diagram, gunakan Metrics Explorer.

Fitur

Dasbor ini mencakup fitur berikut:

  • Pilih tugas yang muncul di dasbor menggunakan ekspresi reguler.
  • Akses halaman detail tugas dari setiap diagram.
  • Menyesuaikan widget dan diagram dasbor.

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan guna melihat data grafik, minta administrator untuk memberi Anda peran IAM Monitoring Viewer (roles/monitoring.viewer). Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin monitoring.timeSeries.list, yang diperlukan untuk melihat data grafik.

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Metrik

Secara default, diagram berikut akan muncul di dasbor Anda. Untuk informasi selengkapnya tentang metrik yang ditampilkan, lihat Metrik tugas.

Diagram Deskripsi Dukungan
Tugas yang berjalan Diagram deret waktu yang menunjukkan jumlah tugas yang berjalan dalam project. Tugas batch dan streaming
Pekerja per tugas Diagram deret waktu yang menunjukkan jumlah pekerja yang digunakan per tugas. Gunakan diagram ini untuk memahami perilaku penskalaan otomatis di seluruh project. Anda dapat melihat apakah tugas memiliki perilaku penskalaan yang tidak terduga atau tidak biasa.

Gunakan diagram ini dengan diagram kuota dan CPU untuk mengidentifikasi tugas yang skalasinya dibatasi oleh error kuota.		 Tugas batch dan streaming
Error kuota terlampaui Diagram deret waktu yang menunjukkan histori error kuota terlampaui dalam project, yang dicakupkan ke kuota CPU Compute Engine. Compute Engine memiliki kuota CPU total per region dan, untuk beberapa kelompok mesin, kuota per region, per jenis. Salah satu kuota ini dapat mencegah tugas dimulai atau diskalakan.

Gunakan diagram ini dengan diagram kuota dan CPU untuk mengidentifikasi sumber error kuota.		 Tugas batch dan streaming
CPU per tugas Diagram deret waktu yang menunjukkan jumlah CPU yang digunakan oleh pekerja setiap tugas. Diagram ini juga menunjukkan jenis dan lokasi mesin untuk setiap tugas. Jenis mesin dalam kelompok yang sama memiliki jumlah CPU yang berbeda. Jumlah total CPU memengaruhi kuota Compute Engine.

Gunakan diagram ini untuk mengidentifikasi sumber error kuota.		 Tugas batch dan streaming
Latensi sistem Diagram deret waktu yang menunjukkan jumlah detik maksimum yang diperlukan item data untuk diproses atau menunggu pemrosesan untuk setiap tugas.

Gunakan diagram ini untuk mengidentifikasi tugas streaming yang memiliki penundaan yang tidak biasa antara saat data muncul di sumber dan ditulis ke semua sink.		 Tugas streaming
Keaktualan data Diagram deret waktu yang menunjukkan keaktualan data maksimum untuk setiap tahap dalam setiap tugas.

Gunakan diagram ini untuk menemukan tugas streaming yang mungkin lambat atau macet.		 Tugas streaming
Byte backlog maksimum Diagram deret waktu yang menampilkan byte backlog maksimum untuk setiap tahap dalam setiap tugas.

Gunakan diagram ini untuk mengidentifikasi anomali yang menunjukkan bottleneck pemrosesan.		 Tugas streaming

Mengakses dasbor

Untuk mengakses dasbor, ikuti langkah-langkah berikut:

  1. Login ke konsol Google Cloud.
  2. Pilih project Google Cloud Anda.
  3. Buka menu navigasi.
  4. Di Analytics, klik Dataflow.

  5. Di menu navigasi Dataflow, klik Monitoring.

    Buka dasbor

Menyesuaikan dasbor

Anda dapat menyesuaikan konten dasbor dan informasi yang ditampilkan dalam diagram. Saat Anda mengedit dasbor, dasbor baru yang disesuaikan akan dibuat.

Dasbor menggunakan Cloud Monitoring untuk mengakses metrik tugas Dataflow. Gunakan alat Cloud Monitoring untuk menyesuaikan diagram.

  1. Buka dasbor, lalu klik Sesuaikan Dasbor.
  2. Ubah dasbor Anda.
  3. Klik Simpan, lalu klik Lihat dasbor yang disesuaikan.

Setelah membuat dasbor yang disesuaikan, untuk kembali ke dasbor default, di menu Dasbor, pilih Standar.

Pemecahan masalah

Bagian ini memberikan petunjuk untuk memecahkan masalah umum

Data tidak tersedia

Saat Anda membuka dasbor, satu atau beberapa diagram akan menampilkan pesan berikut:

No data is available for the selected time frame.

Pesan ini muncul jika jangka waktu yang dicakup dalam diagram tidak memiliki data apa pun. Untuk mengatasi masalah ini, ubah atau perluas rentang waktu.

Untuk mengubah rentang waktu yang ditampilkan, pada diagram, klik Jelajahi data, lalu gunakan pemilih rentang waktu.

Tidak dapat memulihkan widget yang dihapus

Saat menghapus widget dari dasbor, Anda membuat dasbor yang disesuaikan. Setelah membuat dasbor yang disesuaikan, untuk kembali ke dasbor default, di menu Dasbor, pilih Standar.

Tidak dapat melihat diagram

Untuk melihat data grafik, Anda memerlukan izin monitoring.timeSeries.list. Untuk mengetahui informasi selengkapnya, lihat Peran yang diperlukan.

Langkah berikutnya