Menggunakan antarmuka pemantauan tugas Dataflow

Saat menjalankan pipeline menggunakan Dataflow, Anda dapat melihat tugas tersebut dan tugas lainnya menggunakan antarmuka pemantauan berbasis web Dataflow. Antarmuka pemantauan memungkinkan Anda melihat dan berinteraksi dengan tugas Dataflow.

Anda dapat mengakses antarmuka pemantauan Dataflow di konsol Google Cloud. Antarmuka pemantauan dapat menampilkan:

  • Daftar semua tugas Dataflow yang berjalan dan semua tugas yang berjalan dalam 30 hari terakhir.
  • Representasi grafis dari setiap pipeline.
  • Detail tentang status tugas, jenis, dan versi SDK Anda.
  • Link ke informasi tentang layanan Google Cloud yang menjalankan pipeline Anda, seperti Compute Engine dan Cloud Storage.
  • Setiap error atau peringatan yang terjadi selama tugas.
  • Diagnostik tambahan untuk tugas.

Anda dapat melihat visualiser tugas dalam antarmuka pemantauan Dataflow. Diagram ini menampilkan metrik selama durasi tugas dan menyertakan informasi berikut:

  • Visibilitas tingkat langkah untuk membantu mengidentifikasi langkah yang mungkin menyebabkan jeda pipeline.
  • Informasi statistik yang dapat menampilkan perilaku anomali.
  • Metrik I/O yang dapat membantu mengidentifikasi bottleneck di sumber dan sink Anda.

Mengakses antarmuka pemantauan Dataflow

Untuk mengakses antarmuka pemantauan Dataflow, ikuti langkah-langkah berikut:

  1. Login ke konsol Google Cloud.
  2. Pilih project Google Cloud Anda.
  3. Buka menu navigasi.
  4. Di Analytics, klik Dataflow.

Daftar tugas Dataflow akan muncul beserta statusnya. Jika tidak melihat tugas apa pun, Anda perlu menjalankan tugas baru. Untuk mempelajari cara menjalankan tugas, lihat panduan memulai Java, panduan memulai Python, atau panduan memulai Go.

Daftar tugas Dataflow dengan tugas dalam status berjalan, gagal, dan berhasil.
Gambar 1: Daftar tugas Dataflow di konsol Google Cloud dengan tugas dalam status Starting, Failed, dan Succeeded.

Tugas dapat memiliki status berikut:

  • —: antarmuka pemantauan belum menerima status dari layanan Dataflow.
  • Running: tugas sedang berjalan.
  • Starting...: tugas dibuat, tetapi sistem memerlukan waktu beberapa saat untuk bersiap sebelum diluncurkan.
  • Diantrekan: Tugas FlexRS diantrekan atau tugas Template Flex sedang diluncurkan (yang mungkin memerlukan waktu beberapa menit).
  • Membatalkan...: tugas sedang dibatalkan.
  • Dibatalkan: tugas dibatalkan.
  • Draining...: tugas sedang dihapus.
  • Drained: tugas habis.
  • Memperbarui...: tugas sedang diperbarui.
  • Diperbarui: tugas diperbarui.
  • Berhasil: tugas berhasil diselesaikan.
  • Gagal: tugas gagal diselesaikan.

Mengakses visualisasi tugas

Untuk mengakses diagram guna memantau tugas Anda, klik nama tugas dalam antarmuka pemantauan Dataflow. Halaman Detail tugas akan ditampilkan, yang berisi informasi berikut:

  • Grafik tugas: representasi visual pipeline Anda
  • Detail eksekusi: alat untuk mengoptimalkan performa pipeline
  • Metrik tugas: metrik tentang pengoperasian tugas Anda
  • Biaya: metrik tentang perkiraan biaya tugas Anda
  • Penskalaan otomatis: metrik yang terkait dengan peristiwa penskalaan otomatis tugas streaming
  • Panel info tugas: informasi deskriptif tentang pipeline Anda
  • Log tugas: log yang dihasilkan oleh layanan Dataflow pada tingkat tugas
  • Log pekerja: log yang dihasilkan oleh layanan Dataflow di tingkat pekerja
  • Diagnostik: tabel yang menunjukkan tempat terjadinya error di sepanjang linimasa yang dipilih dan kemungkinan rekomendasi untuk pipeline Anda
  • Sampling data: alat yang memungkinkan Anda mengamati data di setiap langkah pipeline. Lihat Menggunakan sampling data untuk mengamati data pipeline.

Di halaman Detail tugas, Anda dapat mengubah tampilan tugas dengan tab Grafik tugas, Detail eksekusi, Metrik tugas, Biaya, dan Penskalaan otomatis.

Grafik tugas

Saat Anda memilih tugas Dataflow tertentu, antarmuka pemantauan akan memberikan representasi grafis pipeline Anda: grafik tugas. Halaman grafik tugas di konsol juga menyediakan ringkasan tugas, log tugas, dan informasi tentang setiap langkah dalam pipeline. Untuk mengetahui detail selengkapnya tentang grafik tugas, lihat Grafik tugas Dataflow.

Metrik tugas

Anda dapat melihat diagram di tab Job metrics pada antarmuka web Dataflow. Setiap metrik diatur ke dalam dasbor berikut:

Metrik ringkasan

Metrik streaming (khusus pipeline streaming)

Metrik resource

Metrik input

Metrik output

Pemberitahuan Cloud Monitoring

Lihat Membuat pemberitahuan Cloud Monitoring.

Pemantauan biaya

Halaman Biaya di konsol Google Cloud menampilkan perkiraan biaya tugas Dataflow saat ini. Perkiraan biaya dihitung dengan mengalikan metrik penggunaan resource seperti yang ditampilkan di Cloud Monitoring dengan harga resource tersebut di region tugas.

Menggunakan pemantauan biaya

Estimasi biaya tugas tersedia untuk tugas batch dan streaming. Halaman Biaya di konsol Google Cloud memberikan informasi berikut:

  • Detail tentang resource yang berkontribusi pada biaya tugas dan jumlahnya. Resource mencakup vCPU, memori, data Dataflow Shuffle yang diproses, atau data Streaming Engine yang diproses, dan penggunaan disk SSD dan HDD.
  • Biaya selama jangka waktu tertentu, seperti: waktu sejak tugas dimulai, satu jam sebelumnya, 24 jam terakhir, tujuh hari sebelumnya, dan rentang waktu yang ditentukan pengguna.

Anda dapat menggunakan pemberitahuan pemantauan untuk mendapatkan notifikasi saat biaya tugas Anda melampaui nilai minimum yang ditentukan. Anda juga dapat menggunakan pemberitahuan untuk membuat perubahan pada tugas, seperti menghentikan atau membatalkan tugas, berdasarkan nilai minimum yang Anda tetapkan.

Untuk membuat aturan pemberitahuan Cloud Monitoring, klik Buat pemberitahuan. Untuk mengetahui petunjuk tentang cara mengonfigurasi pemberitahuan ini, lihat Menggunakan Cloud Monitoring untuk pipeline Dataflow.

Batasan

Pemantauan biaya Dataflow tidak mendukung tugas Dataflow Prime dan metrik GPU.

Metrik penskalaan otomatis

Anda dapat melihat diagram pemantauan penskalaan otomatis untuk tugas streaming dalam antarmuka pemantauan Dataflow. Diagram ini menampilkan metrik selama durasi tugas pipeline dan menyertakan informasi berikut:

  • Jumlah instance pekerja yang digunakan oleh tugas Anda pada waktu tertentu
  • File log penskalaan otomatis
  • Estimasi backlog dari waktu ke waktu
  • Pemakaian CPU rata-rata dari waktu ke waktu

Untuk informasi selengkapnya, lihat Memantau penskalaan otomatis Dataflow.

Rekomendasi dan diagnostik

Dataflow memberikan rekomendasi untuk meningkatkan performa tugas, mengurangi biaya, dan memecahkan masalah error. Bagian ini menjelaskan cara meninjau dan menafsirkan rekomendasi. Perhatikan bahwa beberapa rekomendasi mungkin tidak relevan dengan kasus penggunaan Anda.

Rekomendasi

Tab Rekomendasi menampilkan insight dari Dataflow terkait pipeline. Tujuan insight ini adalah untuk mengidentifikasi situasi yang dapat meningkatkan biaya dan performa.

Tab Rekomendasi untuk tugas Dataflow dengan contoh rekomendasi.

Kolom Tanggal pembaruan menunjukkan kapan terakhir kali insight diamati. Rekomendasi disimpan selama 30 hari sejak Tanggal pembaruan.

Akses terprogram ke rekomendasi

Untuk akses terprogram ke rekomendasi, gunakan Recommender API.

Menolak rekomendasi

Anda dapat menolak rekomendasi di Hub Rekomendasi untuk project Anda.

Untuk menutup rekomendasi, ikuti langkah-langkah berikut:

  1. Di konsol Google Cloud, buka menu navigasi.
  2. Pilih Beranda, lalu Rekomendasi.
  3. Pada kartu Diagnostik Alur Data, klik Lihat semua.
  4. Pilih rekomendasi yang ingin Anda tutup, lalu klik Tutup.

Diagnostik

Tab Diagnostics di panel Logs mengumpulkan dan menampilkan entri log tertentu yang dihasilkan di pipeline Anda. Entri ini mencakup pesan yang menunjukkan kemungkinan masalah pada pipeline dan pesan error dengan stack trace. Entri log yang dikumpulkan akan dihapus duplikatnya dan digabungkan menjadi grup error.

Tab Diagnostik untuk tugas Dataflow dengan grup error Service Error.

Laporan error menyertakan informasi berikut:

  • Daftar error dengan pesan error
  • Frekuensi setiap error terjadi
  • Histogram yang menunjukkan kapan setiap error terjadi
  • Waktu error terakhir kali terjadi
  • Waktu saat error pertama kali terjadi
  • Status error

Untuk melihat laporan error untuk error tertentu, klik deskripsi di bawah kolom Errors. Halaman Pelaporan error akan ditampilkan. Jika error tersebut adalah Error Layanan, link Panduan pemecahan masalah akan ditampilkan.

Halaman detail grup error untuk Error Layanan Dataflow.

Untuk mengetahui halaman ini lebih lanjut, lihat Melihat dan memfilter error.

Membisukan error

Untuk membisukan pesan error, ikuti langkah-langkah berikut:

  1. Buka tab Diagnostik.
  2. Klik error yang ingin dibisukan.
  3. Buka menu status resolusi. Status tersebut memiliki label berikut: Belum Selesai, Diterima, Tuntas, atau Diam.
  4. Pilih Diam.

Langkah selanjutnya