Membuat dasbor pemantauan pipeline menggunakan Cloud Monitoring

Membuat dasbor pemantauan pipeline menggunakan Cloud Monitoring

Pelajari cara menggunakan Cloud Monitoring untuk membuat dasbor guna memantau pipeline.

---

Jika ingin mengikuti panduan langkah demi langkah untuk tugas ini langsung di Konsol Google Cloud, klik Pandu saya:

Pandu saya

---

Sebelum memulai

1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

2. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

3. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

4. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

   Catatan: Jika tidak berencana untuk menyimpan resource yang Anda buat dalam prosedur ini, buatlah project, bukan memilih project yang ada. Setelah menyelesaikan langkah ini, Anda dapat menghapus project, yang menghapus semua resource yang terkait dengan project ini.

   Buka pemilih project

5. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

6. Enable the Cloud Data Fusion, BigQuery, Cloud Storage, and Dataproc APIs.

   Enable the APIs

7. Untuk membuat dasbor kustom, Anda harus diberi peran IAM Monitoring Editor (roles/monitoring.editor) di akun layanan.

   Untuk mengetahui informasi lebih lanjut tentang cara memberikan peran, lihat Mengelola akses.

Membuat instance Cloud Data Fusion dengan Cloud Logging diaktifkan

Untuk menggunakan Cloud Logging dengan pipeline Cloud Data Fusion Anda, buat instance Cloud Data Fusion dengan Cloud Logging diaktifkan:

1. Buka halaman Instance Cloud Data Fusion, lalu klik Create instance.

   Membuat instance

2. Di kolom Instance name, masukkan nama untuk instance baru Anda.

3. Dari drop-down Region, pilih region Google Cloud tempat Anda ingin membuat instance.

4. Dari drop-down Version, pilih versi Cloud Data Fusion.

5. Pilih Edisi.

6. Buka Opsi lanjutan.

7. Di bagian Logging and Monitoring, pilih Enable Stackdriver logging service.

8. Klik Create.

Setelah membuat instance, Anda tidak dapat mengaktifkan Cloud Logging di Konsol Google Cloud.

Membuat metrik berbasis log

1. Buka halaman Metrik berbasis log Cloud Logging:

   Buka Metrik berbasis log

2. Klik Buat Metrik.

3. Di halaman Create a metric, lakukan tindakan berikut:

   1. Untuk Metric type, pilih Counter.
   2. Di kolom Nama metrik berbasis log, masukkan pipeline_logs.
   3. Di kolom Units, masukkan 1.

   4. Di kolom Buat filter, masukkan berikut ini:

      resource.type="cloud_dataproc_cluster"
      log_name=~"projects/.*/logs/datafusion-pipeline-logs"
      

   5. Di bagian Label, klik Tambahkan label dan buat label berikut. Setelah memasukkan setiap label, klik Selesai, lalu klik Tambahkan label lagi untuk membuat label berikutnya.

      Nama label	Jenis label	Nama kolom
      Project	STRING	resource.labels.project_id
      Message	STRING	jsonPayload.message
      LoggerName	STRING	labels.loggerName
      ClusterName	STRING	resource.labels.cluster_name
      SparkPhase	STRING	labels.".workflowSparkId"
      Region	STRING	resource.labels.region
      Pipeline	STRING	labels.".applicationId"
      RunId	STRING	labels.".runId"
      Namespace	STRING	labels.".namespaceId"
      LogLevel	STRING	labels.levelName

   6. Klik Buat Metrik.

      Metrik yang baru dibuat akan muncul di tabel metrik buatan pengguna. Jika metrik tidak langsung terlihat, muat ulang halaman.

      Dasbor berisi diagram berikut:

      • Semua pipeline
      • Pipeline yang telah selesai
      • Pipeline yang gagal
      • Semua operasi pipeline
      • Operasi pipeline yang telah selesai
      • Operasi pipeline gagal
      • Cluster Dataproc untuk operasi

      Setelah metrik dibuat, mungkin diperlukan waktu hingga 24 jam untuk mulai menampilkan data deret waktu.

Instal dasbor

1. Download file JSON ke komputer lokal Anda.

2. Buka halaman Dasbor Cloud Monitoring:

   Buka dasbor Monitoring

3. Klik Buat Dasbor.

4. Klik Setelan dasbor > JSON > Editor JSON.

5. Di editor teks, buka file JSON yang telah Anda download.

6. Salin konten file JSON yang didownload dan tempelkan ke editor JSON, mengganti konten yang terdapat dalam editor JSON secara default.

7. Klik Terapkan perubahan.

   Tindakan ini akan menyegarkan dasbor. Pipeline Cloud Data Fusion yang berjalan setelah metrik dibuat akan muncul di dasbor. Jika tidak ada pipeline yang dijalankan setelah metrik dibuat, dasbor akan kosong.

8. Simpan-otomatis diaktifkan secara default. Jika fitur simpan otomatis dinonaktifkan, klik Save untuk menyimpan dasbor.

9. Klik Close editor.

   Dasbor baru Anda akan muncul dalam daftar dasbor di halaman Ringkasan pemantauan.

Pembersihan

Agar akun Google Cloud Anda tidak dikenakan biaya untuk resource yang digunakan pada halaman ini, ikuti langkah-langkah berikut.

Menghapus instance Cloud Data Fusion

Ikuti petunjuk ini untuk menghapus instance Cloud Data Fusion.

Menghapus project

Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project yang Anda buat untuk tutorial.

Untuk menghapus project:

Perhatian: Menghapus project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika menggunakan project yang sudah ada untuk tugas dalam dokumen ini, saat Anda menghapusnya, pekerjaan lain yang telah Anda lakukan dalam project tersebut juga akan terhapus.
• Project ID kustom hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang ingin digunakan di masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari berbagai arsitektur, tutorial, atau panduan memulai, menggunakan kembali project dapat membantu agar Anda tidak melampaui batas kuota project.

1. Di konsol Google Cloud, buka halaman Manage resource.

   Buka Manage resource

2. Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Langkah selanjutnya

• Pelajari Cloud Monitoring lebih lanjut.