Membuat dasbor pemantauan pipeline menggunakan Cloud Monitoring

Membuat dasbor pemantauan pipeline menggunakan Cloud Monitoring

Pelajari cara menggunakan Cloud Monitoring untuk membuat dasbor guna memantau pipeline.

---

Jika ingin mengikuti panduan langkah demi langkah untuk tugas ini langsung di Konsol Google Cloud, klik Pandu saya:

Pandu saya

---

Sebelum memulai

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Make sure that billing is enabled for your Google Cloud project.

6. Enable the Cloud Data Fusion, BigQuery, Cloud Storage, and Dataproc APIs.

   Enable the APIs

7. Untuk membuat dasbor kustom, Anda harus diberi peran IAM Monitoring Editor (roles/monitoring.editor) di akun layanan.

   Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses.

Membuat instance Cloud Data Fusion dengan Cloud Logging diaktifkan

Untuk menggunakan Cloud Logging dengan pipeline Cloud Data Fusion, buat instance Cloud Data Fusion dengan Cloud Logging diaktifkan:

1. Buka halaman Instance Cloud Data Fusion, lalu klik Create instance.

   Membuat instance

2. Di kolom Instance name, masukkan nama untuk instance baru Anda.

3. Dari drop-down Region, pilih Google Cloud region tempat Anda ingin membuat instance.

4. Dari drop-down Version, pilih versi Cloud Data Fusion.

5. Pilih Edisi.

6. Buka Opsi lanjutan.

7. Di bagian Logging and monitoring, pilih Enable Stackdriver logging service.

8. Klik Create.

Setelah membuat instance, Anda tidak dapat mengaktifkan Cloud Logging di konsol Google Cloud.

Membuat metrik berbasis log

1. Buka halaman Metrik berbasis log Cloud Logging:

   Buka Metrik berbasis log

2. Klik Create metric.

3. Di halaman Buat metrik, lakukan tindakan berikut:

   1. Untuk Jenis metrik, pilih Penghitung.
   2. Di kolom Log-based metric name, masukkan pipeline_logs.
   3. Di kolom Unit, masukkan 1.

   4. Di kolom Build filter, masukkan hal berikut:

      resource.type="cloud_dataproc_cluster"
      log_name=~"projects/.*/logs/datafusion-pipeline-logs"
      

   5. Di bagian Labels, klik Add label dan buat label berikut. Setelah memasukkan setiap label, klik Done, lalu klik Add label lagi untuk membuat label berikutnya.

      Nama label	Jenis label	Nama kolom
      Project	STRING	resource.labels.project_id
      Message	STRING	jsonPayload.message
      LoggerName	STRING	labels.loggerName
      ClusterName	STRING	resource.labels.cluster_name
      SparkPhase	STRING	labels.".workflowSparkId"
      Region	STRING	resource.labels.region
      Pipeline	STRING	labels.".applicationId"
      RunId	STRING	labels.".runId"
      Namespace	STRING	labels.".namespaceId"
      LogLevel	STRING	labels.levelName

   6. Klik Create metric.

      Metrik yang baru dibuat akan muncul di tabel metrik yang ditentukan pengguna. Jika metrik tidak langsung terlihat, muat ulang halaman.

      Dasbor berisi diagram berikut:

      • Semua pipeline
      • Pipeline yang telah selesai
      • Pipeline yang gagal
      • Semua operasi pipeline
      • Operasi pipeline yang selesai
      • Operasi pipeline yang gagal
      • Cluster Dataproc untuk menjalankan

      Setelah metrik dibuat, mungkin perlu waktu hingga 24 jam untuk mulai menampilkan data deret waktu.

Menginstal dasbor

1. Download file JSON ke komputer lokal Anda.

2. Buka halaman Dasbor Cloud Monitoring:

   Buka Dasbor Monitoring

3. Klik Buat Dasbor.

4. Klik Setelan dasbor > JSON > Editor JSON.

5. Di editor teks, buka file JSON yang Anda download.

6. Salin konten file JSON yang didownload dan tempelkan ke editor JSON, yang akan menggantikan konten yang dimuat editor JSON secara default.

7. Klik Terapkan perubahan.

   Tindakan ini akan memuat ulang dasbor. Pipeline Cloud Data Fusion yang berjalan setelah metrik dibuat, akan muncul di dasbor. Jika tidak ada pipeline yang dijalankan setelah metrik dibuat, dasbor akan kosong.

8. Simpan otomatis diaktifkan secara default. Jika penyimpanan otomatis dinonaktifkan, klik Simpan untuk menyimpan dasbor.

9. Klik Close editor.

   Dasbor baru Anda akan muncul dalam daftar dasbor di halaman Ringkasan pemantauan.

Pembersihan

Agar akun Google Cloud Anda tidak dikenai biaya untuk resource yang digunakan di halaman ini, ikuti langkah-langkah berikut.

Menghapus instance Cloud Data Fusion

Ikuti petunjuk ini untuk menghapus instance Cloud Data Fusion.

Menghapus project

Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project yang Anda buat untuk tutorial.

Untuk menghapus project:

Perhatian: Menghapus project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika menggunakan project yang sudah ada untuk tugas dalam dokumen ini, saat Anda menghapusnya, pekerjaan lain yang telah Anda lakukan dalam project tersebut juga akan terhapus.
• Project ID kustom hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang ingin digunakan di masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari beberapa arsitektur, tutorial atau panduan memulai, dengan menggunakan kembali project dapat membantu Anda agar tidak melampaui batas kuota project.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Langkah selanjutnya

• Pelajari Cloud Monitoring lebih lanjut.