Membuat dasbor pemantauan pipeline menggunakan Cloud Monitoring

Pelajari cara menggunakan Cloud Monitoring untuk membuat dasbor guna memantau pipeline.


Jika ingin mengikuti panduan langkah demi langkah untuk tugas ini langsung di Konsol Google Cloud, klik Pandu saya:

Pandu saya


Sebelum memulai

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  5. Make sure that billing is enabled for your Google Cloud project.

  6. Enable the Cloud Data Fusion, BigQuery, Cloud Storage, and Dataproc APIs.

    Enable the APIs

  7. Untuk membuat dasbor kustom, Anda harus diberi peran IAM Monitoring Editor (roles/monitoring.editor) di akun layanan.

    Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses.

Membuat instance Cloud Data Fusion dengan Cloud Logging diaktifkan

Untuk menggunakan Cloud Logging dengan pipeline Cloud Data Fusion, buat instance Cloud Data Fusion dengan Cloud Logging diaktifkan:

  1. Buka halaman Instance Cloud Data Fusion, lalu klik Create instance.

    Membuat instance

  2. Di kolom Instance name, masukkan nama untuk instance baru Anda.

  3. Dari drop-down Region, pilih Google Cloud region tempat Anda ingin membuat instance.

  4. Dari drop-down Version, pilih versi Cloud Data Fusion.

  5. Pilih Edisi.

  6. Buka Opsi lanjutan.

  7. Di bagian Logging and monitoring, pilih Enable Stackdriver logging service.

  8. Klik Create.

Setelah membuat instance, Anda tidak dapat mengaktifkan Cloud Logging di konsol Google Cloud.

Membuat metrik berbasis log

  1. Buka halaman Metrik berbasis log Cloud Logging:

    Buka Metrik berbasis log

  2. Klik Create metric.

  3. Di halaman Buat metrik, lakukan tindakan berikut:

    1. Untuk Jenis metrik, pilih Penghitung.
    2. Di kolom Log-based metric name, masukkan pipeline_logs.
    3. Di kolom Unit, masukkan 1.
    4. Di kolom Build filter, masukkan hal berikut:

      resource.type="cloud_dataproc_cluster"
      log_name=~"projects/.*/logs/datafusion-pipeline-logs"
      
    5. Di bagian Labels, klik Add label dan buat label berikut. Setelah memasukkan setiap label, klik Done, lalu klik Add label lagi untuk membuat label berikutnya.

      Nama label Jenis label Nama kolom
      Project STRING resource.labels.project_id
      Message STRING jsonPayload.message
      LoggerName STRING labels.loggerName
      ClusterName STRING resource.labels.cluster_name
      SparkPhase STRING labels.".workflowSparkId"
      Region STRING resource.labels.region
      Pipeline STRING labels.".applicationId"
      RunId STRING labels.".runId"
      Namespace STRING labels.".namespaceId"
      LogLevel STRING labels.levelName
    6. Klik Create metric.

      Metrik yang baru dibuat akan muncul di tabel metrik yang ditentukan pengguna. Jika metrik tidak langsung terlihat, muat ulang halaman.

      Dasbor berisi diagram berikut:

      • Semua pipeline
      • Pipeline yang telah selesai
      • Pipeline yang gagal
      • Semua operasi pipeline
      • Operasi pipeline yang selesai
      • Operasi pipeline yang gagal
      • Cluster Dataproc untuk menjalankan

      Setelah metrik dibuat, mungkin perlu waktu hingga 24 jam untuk mulai menampilkan data deret waktu.

Menginstal dasbor

  1. Download file JSON ke komputer lokal Anda.

  2. Buka halaman Dasbor Cloud Monitoring:

    Buka Dasbor Monitoring

  3. Klik Buat Dasbor.

  4. Klik Setelan dasbor > JSON > Editor JSON.

  5. Di editor teks, buka file JSON yang Anda download.

  6. Salin konten file JSON yang didownload dan tempelkan ke editor JSON, yang akan menggantikan konten yang dimuat editor JSON secara default.

  7. Klik Terapkan perubahan.

    Tindakan ini akan memuat ulang dasbor. Pipeline Cloud Data Fusion yang berjalan setelah metrik dibuat, akan muncul di dasbor. Jika tidak ada pipeline yang dijalankan setelah metrik dibuat, dasbor akan kosong.

  8. Simpan otomatis diaktifkan secara default. Jika penyimpanan otomatis dinonaktifkan, klik Simpan untuk menyimpan dasbor.

  9. Klik Close editor.

    Dasbor baru Anda akan muncul dalam daftar dasbor di halaman Ringkasan pemantauan.

Pembersihan

Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan di halaman ini, ikuti langkah-langkah berikut.

Menghapus instance Cloud Data Fusion

Ikuti petunjuk ini untuk menghapus instance Cloud Data Fusion.

Menghapus project

Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project yang Anda buat untuk tutorial.

Untuk menghapus project:

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. In the project list, select the project that you want to delete, and then click Delete.
  3. In the dialog, type the project ID, and then click Shut down to delete the project.

Langkah selanjutnya