Memantau kondisi sistem, instance, dan pipeline Cloud Data Fusion

Panduan ini menjelaskan cara memantau instance dan pipeline Cloud Data Fusion. Anda dapat melihat metrik utama di dasbor pemantauan Cloud Data Fusion. Untuk agregasi atau pemfilteran tambahan, Anda dapat melihat metrik di Cloud Monitoring.

Sebelum memulai

Sebelum Anda mulai memantau instance dan pipeline Cloud Data Fusion, tinjau harga dan berikan peran yang diperlukan.

Harga

Penggunaan Cloud Monitoring akan dikenai biaya. Untuk mengetahui informasi selengkapnya, lihat harga Google Cloud Observability.

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk melihat metrik, minta administrator untuk memberi Anda peran IAM Monitoring Viewer (roles/monitoring.viewer) di project Anda. Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Anda mungkin juga bisa mendapatkan izin yang diperlukan melalui peran kustom atau peran yang telah ditentukan lainnya.

Memantau di Cloud Data Fusion

Lihat dan filter metrik untuk instance dan pipeline Anda langsung di Cloud Data Fusion menggunakan dasbor pemantauan:

  1. Di konsol Google Cloud , buka halaman Cloud Data Fusion.

  2. Klik Instances, lalu klik nama instance untuk membuka halaman Instance details.

    Buka Instance

  3. Klik tab Pemantauan. Dasbor dengan diagram untuk instance dan pipeline-nya akan ditampilkan.

    Dasbor menampilkan tampilan berikut:

    • Ringkasan: Memantau metrik sistem Cloud Data Fusion.
    • Instance: Memantau semua instance Cloud Data Fusion dalam project.
    • Pipeline: Memberikan informasi tentang proses dan performa pipeline.

    Untuk informasi mendetail tentang metrik dalam tampilan apa pun, arahkan kursor ke widget dan klik Lainnya > Lihat di Metrics Explorer.

Widget di dasbor pemantauan

Bagian berikut menjelaskan widget yang tersedia di tampilan Ringkasan, Instance, dan Pipeline.

Widget tampilan ringkasan

Tabel ini menjelaskan widget dalam tampilan Ringkasan:

Widget Deskripsi
Kondisi layanan Appfabric Ketersediaan layanan untuk Appfabric
Kondisi layanan metrik Ketersediaan layanan untuk metrik
Kesehatan layanan Wrangler Ketersediaan layanan untuk Wrangler
Kesehatan eksekutor set data Ketersediaan layanan untuk set data
Kesehatan studio pipeline Ketersediaan layanan untuk Pipeline Studio
Kondisi layanan runtime Ketersediaan layanan untuk runtime
Kesehatan layanan penyimpanan log Ketersediaan layanan untuk penyimpanan log
Kesehatan layanan metadata Ketersediaan layanan untuk metadata

Widget tampilan pipeline

Tabel ini menjelaskan widget dalam tampilan Pipeline:

Widget Deskripsi
Operasi pipeline yang berhasil Jumlah kumulatif operasi pipeline yang berhasil.
Operasi pipeline gagal Jumlah kumulatif operasi pipeline yang gagal.
Operasi pipeline yang dihentikan Jumlah kumulatif operasi pipeline yang dihentikan.
Operasi pipeline yang ditolak Jumlah kumulatif operasi pipeline yang ditolak.
Waktu operasi pipeline yang berhasil Waktu yang diperlukan agar pipeline berhasil dijalankan hingga selesai.
Latensi mulai pipeline Waktu yang diperlukan untuk menjalankan pipeline hingga mencapai status "Berjalan".
Latensi penyediaan Dataproc Waktu yang diperlukan untuk menyediakan cluster Dataproc.
Jumlah permintaan Dataproc API Jumlah kumulatif permintaan API yang dibuat ke Dataproc.
Waktu pratinjau berhasil dijalankan Waktu yang diperlukan agar pratinjau berhasil diselesaikan.
Menjalankan pratinjau Jumlah pratinjau yang dijalankan.
Byte pipeline yang dibaca Jumlah kumulatif byte yang dibaca oleh pipeline.
Byte pipeline yang ditulis Jumlah kumulatif byte yang ditulis oleh pipeline.
Byte pipeline diacak Jumlah kumulatif byte yang diacak dalam pipeline.
Plugin mencatat pemrosesan di Jumlah kumulatif data yang masuk ke plugin.
Plugin mencatat pemrosesan Jumlah kumulatif rekaman yang keluar dari plugin.

Widget tampilan instance

Tabel ini menjelaskan widget dalam tampilan Instance:

Widget Deskripsi
Pipeline serentak yang berjalan Jumlah pipeline yang berjalan secara serentak.
Pipeline serentak diluncurkan Jumlah pipeline dalam status penyediaan atau memulai.
Permintaan API diterima Jumlah kumulatif permintaan API yang diterima.
Jumlah respons API Jumlah kumulatif respons API yang dikirim.
Jumlah pemeriksaan otorisasi Jumlah kumulatif pemeriksaan otorisasi.
Waktu pemeriksaan otorisasi Latensi pemeriksaan otorisasi.
Jumlah pipeline yang di-deploy Jumlah pipeline yang di-deploy.
Jumlah pipeline draf Jumlah pipeline draf.
Jumlah namespace Jumlah namespace.

Melihat metrik untuk analisis lanjutan di Cloud Monitoring

Untuk opsi pemfilteran dan agregasi tambahan, lihat metrik Anda di Cloud Monitoring:

  1. Di Google Cloud konsol, buka halaman Metrics explorer Cloud Monitoring.

    Buka Metrics explorer

  2. Pilih resource yang dipantau Cloud Data Fusion.

  3. Pilih metrik.

  4. Pilih filter dan agregasi.

Langkah berikutnya