Panduan ini menjelaskan cara memantau instance dan pipeline Cloud Data Fusion menggunakan dasbor Pemantauan Cloud Data Fusion di Monitoring.
Dasbor Cloud Data Fusion menyediakan tampilan metrik utama yang dapat disesuaikan. Dengan melihat metrik ini langsung di Monitoring, Anda dapat menyesuaikan pemfilteran dan agregasi metrik.
Dasbor ini mencakup tampilan berikut:
- Ringkasan: Memantau metrik dan log sistem Cloud Data Fusion.
- Instance: Memantau semua instance Cloud Data Fusion dalam project.
- Pipeline: Memberikan informasi tentang proses dan performa pipeline.
Untuk informasi mendetail tentang metrik dalam tampilan apa pun, arahkan kursor ke widget dan klik Lainnya > Lihat di Metrics Explorer.
Sebelum memulai
- Di konsol Google Cloud ,instal dasbor template dan pilih template dasbor Cloud Data Fusion Monitoring.
Harga
Penggunaan Cloud Monitoring akan dikenai biaya. Untuk mengetahui informasi selengkapnya, lihat harga Google Cloud Observability.
Peran yang diperlukan
Untuk mendapatkan izin yang diperlukan untuk melihat metrik, minta administrator Anda untuk memberi Anda peran IAM Monitoring Viewer (roles/monitoring.viewer) di project Anda.
Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.
Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran khusus atau peran bawaan lainnya.
Widget tampilan instance
Tabel ini menjelaskan widget di tampilan Instance:
| Widget | Deskripsi |
|---|---|
| Pipeline serentak yang berjalan | Jumlah pipeline yang berjalan secara serentak. |
| Pipeline serentak diluncurkan | Jumlah pipeline dalam status penyediaan atau memulai. |
| Permintaan API diterima | Jumlah kumulatif permintaan API yang diterima. |
| Jumlah respons API | Jumlah kumulatif respons API yang dikirim. |
| Jumlah pemeriksaan otorisasi | Jumlah kumulatif pemeriksaan otorisasi. |
| Waktu pemeriksaan otorisasi | Latensi pemeriksaan otorisasi. |
| Jumlah pipeline yang di-deploy | Jumlah pipeline yang di-deploy. |
| Jumlah pipeline draf | Jumlah pipeline draf. |
| Jumlah namespace | Jumlah namespace. |
Widget tampilan pipeline
Tabel ini menjelaskan widget dalam tampilan Pipeline:
| Widget | Deskripsi |
|---|---|
| Operasi pipeline yang berhasil | Jumlah kumulatif operasi pipeline yang berhasil. |
| Operasi pipeline gagal | Jumlah kumulatif operasi pipeline yang gagal. |
| Operasi pipeline yang dihentikan | Jumlah kumulatif operasi pipeline yang dihentikan. |
| Operasi pipeline yang ditolak | Jumlah kumulatif operasi pipeline yang ditolak. |
| Waktu operasi pipeline yang berhasil | Waktu yang diperlukan agar pipeline berhasil dijalankan hingga selesai. |
| Latensi mulai pipeline | Waktu yang diperlukan untuk menjalankan pipeline hingga mencapai status "Berjalan". |
| Latensi penyediaan Dataproc | Waktu yang diperlukan untuk menyediakan cluster Dataproc. |
| Jumlah permintaan Dataproc API | Jumlah kumulatif permintaan API yang dibuat ke Dataproc. |
| Waktu tayang pratinjau yang berhasil | Waktu yang diperlukan agar pratinjau berhasil diselesaikan. |
| Menjalankan pratinjau | Jumlah pratinjau yang dijalankan. |
| Byte pipeline yang dibaca | Jumlah kumulatif byte yang dibaca oleh pipeline. |
| Byte pipeline yang ditulis | Jumlah kumulatif byte yang ditulis oleh pipeline. |
| Byte pipeline diacak | Jumlah kumulatif byte yang diacak dalam pipeline. |
| Plugin mencatat pemrosesan di | Jumlah kumulatif data yang masuk ke plugin. |
| Plugin mencatat pemrosesan | Jumlah kumulatif rekaman yang keluar dari plugin. |
Melihat dan memfilter metrik
Melihat dan memfilter metrik langsung di Monitoring:
Di Google Cloud konsol, buka halaman Metrics Explorer.
Pilih resource yang dipantau Cloud Data Fusion.
Pilih metrik.
Pilih filter dan agregasi.
Langkah berikutnya
- Untuk mempelajari filter dan metrik, lihat ringkasan metrik Cloud Data Fusion.