Menggunakan antarmuka pemantauan tugas Dataflow

Saat Anda menjalankan pipeline menggunakan layanan yang dikelola Dataflow, Anda dapat melihat tugas tersebut dan tugas lainnya menggunakan antarmuka pemantauan berbasis web Dataflow. Antarmuka pemantauan memungkinkan Anda melihat dan berinteraksi dengan tugas Dataflow.

Anda dapat mengakses antarmuka pemantauan Dataflow menggunakan Google Cloud Console. Antarmuka pemantauan dapat menampilkan:

  • Daftar semua tugas Dataflow yang sedang berjalan dan semua tugas yang berjalan dalam 30 hari terakhir.
  • Representasi grafis dari setiap pipeline.
  • Detail tentang status tugas, jenis, dan versi SDK Anda.
  • Link ke informasi tentang layanan Google Cloud yang menjalankan pipeline Anda, seperti Compute Engine dan Cloud Storage.
  • Semua error atau peringatan yang terjadi selama tugas.
  • Diagnostik tambahan untuk tugas.

Anda dapat melihat visualizer tugas dalam antarmuka pemantauan Dataflow. Diagram ini menampilkan metrik selama durasi tugas pipeline dan menyertakan informasi berikut:

  • Visibilitas tingkat langkah untuk membantu mengidentifikasi langkah mana yang mungkin menyebabkan keterlambatan pipeline.
  • Informasi statistik yang dapat menampilkan perilaku anomali.
  • Metrik I/O yang dapat membantu mengidentifikasi bottleneck di sumber dan sink Anda.

Mengakses antarmuka pemantauan Dataflow

Untuk mengakses antarmuka pemantauan Dataflow, ikuti langkah-langkah berikut:

  1. Login ke konsol Google Cloud.
  2. Pilih project Google Cloud Anda.
  3. Buka menu navigasi.
  4. Di Analytics, klik Dataflow.

Daftar tugas Dataflow akan muncul beserta statusnya. Jika tidak melihat tugas apa pun, Anda perlu menjalankan tugas baru. Untuk mempelajari cara menjalankan tugas, lihat panduan memulai Java, panduan memulai Python, atau panduan memulai Go.

Daftar tugas Dataflow dengan tugas dalam status berjalan, gagal, dan berhasil.
Gambar 1: Daftar tugas Dataflow di konsol Google Cloud dengan tugas dalam status Running, Failed, dan Berhasil.

Suatu pekerjaan dapat memiliki status berikut:

  • —: antarmuka pemantauan belum menerima status dari layanan Dataflow.
  • Berjalan: tugas sedang berjalan.
  • Memulai...: tugas dibuat, tetapi sistem memerlukan waktu untuk mempersiapkannya sebelum diluncurkan.
  • Queued: tugas FlexRS sedang diantrekan atau tugas template Flex sedang diluncurkan (yang mungkin memerlukan waktu beberapa menit).
  • Membatalkan...: tugas dibatalkan.
  • Dibatalkan: tugas dibatalkan.
  • Menguras...: tugas sedang dihabiskan.
  • Terkuras: tugas terkuras.
  • Memperbarui...: tugas sedang sedang diperbarui.
  • Diperbarui: tugas diperbarui.
  • Berhasil: tugas telah berhasil diselesaikan.
  • Gagal: tugas gagal diselesaikan.

Untuk mengetahui informasi selengkapnya tentang pipeline, klik nama tugas.

Mengakses visualizer tugas

Agar dapat mengakses diagram untuk memantau tugas Anda, klik nama tugas di dalam antarmuka pemantauan Dataflow. Halaman Detail tugas akan ditampilkan, yang berisi informasi berikut:

  • Grafik tugas: representasi visual pipeline Anda
  • Detail eksekusi: alat untuk mengoptimalkan performa pipeline
  • Metrik tugas: metrik tentang pelaksanaan tugas Anda
  • Biaya: metrik tentang perkiraan biaya pekerjaan Anda
  • Penskalaan otomatis: metrik yang terkait dengan peristiwa penskalaan otomatis tugas streaming
  • Panel Job info: informasi deskriptif tentang pipeline Anda
  • Log tugas: log yang dihasilkan oleh layanan Dataflow pada level tugas
  • Log pekerja: log yang dihasilkan oleh layanan Dataflow di tingkat pekerja
  • Diagnostik: tabel yang menunjukkan lokasi terjadinya error di sepanjang linimasa yang dipilih dan rekomendasi yang memungkinkan untuk pipeline Anda
  • Sampling data: alat yang memungkinkan Anda mengamati data di setiap langkah pipeline. Lihat Menggunakan sampling data untuk mengamati data pipeline.

Di halaman Detail tugas, Anda dapat mengubah tampilan tugas dengan tab Grafik tugas, Detail eksekusi, Metrik tugas, Biaya, dan Penskalaan otomatis.

Grafik tugas

Saat Anda memilih tugas Dataflow tertentu, antarmuka pemantauan memberikan representasi grafis dari pipeline Anda: grafik tugas. Halaman grafik tugas di konsol juga menyediakan ringkasan tugas, log tugas, dan informasi tentang setiap langkah dalam pipeline. Untuk detail selengkapnya tentang grafik tugas, lihat Grafik tugas Dataflow.

Metrik tugas

Anda dapat melihat diagram di tab Job metrics pada antarmuka web Dataflow. Setiap metrik diatur ke dalam dasbor berikut:

Metrik ringkasan

Metrik streaming (khusus pipeline streaming)

Metrik resource

Metrik input

Metrik output

Pemberitahuan Cloud Monitoring

Lihat bagian Membuat pemberitahuan Cloud Monitoring.

Pemantauan biaya

Halaman Cost di Google Cloud Console menampilkan perkiraan biaya tugas Dataflow Anda saat ini. Estimasi biaya dihitung dengan mengalikan metrik penggunaan resource seperti yang ditunjukkan di Cloud Monitoring dengan harga resource tersebut di region tugas.

Gunakan pemantauan biaya

Estimasi biaya tugas tersedia untuk tugas batch dan streaming. Halaman Cost di Google Cloud Console menyediakan informasi berikut:

  • Detail tentang sumber daya mana yang berkontribusi pada biaya pekerjaan dan seberapa banyak. Resource mencakup vCPU, memori, data Dataflow Shuffle yang diproses atau data Streaming Engine yang diproses, serta penggunaan disk SSD dan HDD.
  • Biaya selama jangka waktu tertentu, seperti: waktu sejak tugas dimulai, jam sebelumnya, 24 jam terakhir, tujuh hari sebelumnya, dan rentang waktu yang ditentukan pengguna.

Anda dapat menggunakan pemberitahuan pemantauan untuk mendapatkan notifikasi saat biaya tugas melewati batas yang ditentukan. Anda juga dapat menggunakan pemberitahuan untuk membuat perubahan pada tugas, seperti menghentikan atau membatalkan tugas, berdasarkan ambang batas yang Anda tetapkan.

Untuk membuat aturan pemberitahuan Cloud Monitoring, klik Create alert. Untuk petunjuk tentang cara mengonfigurasi pemberitahuan ini, lihat Menggunakan Cloud Monitoring untuk pipeline Dataflow.

Batasan

Pemantauan biaya Dataflow tidak mendukung tugas Dataflow Prime dan metrik GPU.

Metrik penskalaan otomatis

Anda dapat melihat diagram pemantauan penskalaan otomatis untuk tugas streaming dalam antarmuka pemantauan Dataflow. Diagram ini menampilkan metrik selama durasi tugas pipeline dan menyertakan informasi berikut:

  • Jumlah instance pekerja yang digunakan oleh tugas Anda pada waktu tertentu
  • File log penskalaan otomatis
  • Perkiraan tunggakan dari waktu ke waktu
  • Pemakaian CPU rata-rata dari waktu ke waktu

Untuk mengetahui informasi selengkapnya, lihat Memantau penskalaan otomatis Dataflow.

Rekomendasi dan diagnostik

Dataflow memberikan rekomendasi untuk meningkatkan performa tugas, mengurangi biaya, dan memecahkan masalah error. Bagian ini menjelaskan cara meninjau dan menafsirkan rekomendasi. Ingatlah bahwa beberapa rekomendasi mungkin tidak relevan dengan kasus penggunaan Anda.

Rekomendasi

Tab Rekomendasi menampilkan insight dari Dataflow terkait pipeline. Sasaran dari insight ini adalah untuk mengidentifikasi situasi yang dapat meningkatkan biaya dan performa.

Tab Rekomendasi untuk tugas Dataflow dengan contoh rekomendasi.

Kolom Tanggal pembaruan menunjukkan kapan terakhir kali insight diamati. Rekomendasi akan disimpan selama 30 hari sejak Tanggal pembaruan.

Akses terprogram ke rekomendasi

Untuk akses terprogram ke rekomendasi, gunakan Recommender API.

Menolak rekomendasi

Anda dapat menolak rekomendasi di Hub Rekomendasi untuk project Anda.

Untuk menolak rekomendasi, klik menu navigasi di kiri atas Google Cloud Console, lalu pilih Beranda > Rekomendasi. Pada kartu Dataflow Diagnostik, klik View all, pilih rekomendasi yang ingin ditolak, lalu klik Dismiss.

Diagnostik

Tab Diagnostik pada panel Logs akan mengumpulkan dan menampilkan entri log tertentu yang dihasilkan di pipeline Anda. Pesan ini mencakup pesan yang menunjukkan kemungkinan masalah pada pipeline, dan pesan error dengan pelacakan tumpukan. Entri log yang dikumpulkan akan dihapus duplikatnya dan digabungkan menjadi grup error.

Tab Diagnostik untuk tugas Dataflow dengan grup error Service Error.

Laporan error menyertakan informasi berikut:

  • Daftar error dengan pesan error.
  • Frekuensi terjadinya setiap error.
  • Histogram yang menunjukkan kapan setiap kesalahan terjadi.
  • Waktu terjadinya error baru-baru ini.
  • Waktu saat error pertama kali terjadi.
  • Status error.

Guna melihat laporan error untuk error tertentu, klik deskripsi pada kolom Error. Halaman Error reporting akan ditampilkan. Jika error yang terjadi adalah Error Layanan, link tambahan yang berisi dokumentasi termasuk langkah lebih lanjut akan ditampilkan ("Panduan pemecahan masalah").

Halaman detail grup error untuk Error Layanan Dataflow.

Untuk mengetahui informasi selengkapnya tentang halaman, lihat Melihat error.

Menonaktifkan error

Untuk menonaktifkan pesan error, buka tab Diagnostik, klik error yang ingin dinonaktifkan, buka menu status resolusi (berlabel salah satu dari: Open | Acknowledged | Resolved | Muted), lalu pilih Muted.

Langkah selanjutnya