Cloud Monitoring memberikan visibilitas pada performa, waktu beroperasi, dan kondisi keseluruhan aplikasi yang didukung oleh teknologi cloud. Kemampuan Observasi Google Cloud mengumpulkan dan menyerap metrik, peristiwa, dan metadata dari layanan Metastore Dataproc untuk menghasilkan insight menggunakan dasbor dan diagram.
Lihat Memantau Harga untuk memahami biaya Anda.
Lihat Kuota dan batas Monitoring untuk mengetahui informasi tentang retensi data metrik.
Mengakses metrik layanan di Monitoring
Metrik resource layanan Dataproc Metastore otomatis diaktifkan di layanan Dataproc Metastore. Gunakan Monitoring untuk melihat metrik ini.
Anda dapat mengakses Monitoring dari Konsol Google Cloud atau dengan menggunakan Monitoring API.
Konsol
Di konsol Google Cloud, buka halaman Cloud Monitoring > Metrics Explorer:
Dari menu drop-down "Find resource type and metric", pilih resource
Dataproc Metastore Service.Klik lagi di kotak input, lalu pilih sebuah metrik dari menu drop-down. Mengarahkan kursor ke nama metrik akan menampilkan informasi tentang metrik tersebut.
Anda dapat memilih filter, mengelompokkan menurut label metrik, melakukan agregasi, dan memilih opsi tampilan diagram.
REST
Anda dapat menggunakan timeSeries.list API Monitoring untuk merekam dan mencantumkan metrik yang ditentukan oleh ekspresi filter.
Gunakan template Try this API di halaman API untuk mengirim
permintaan API dan menampilkan respons.
Metrik layanan Dataproc Metastore di Monitoring
Metrik dari Metastore Dataproc. Tahapan peluncuran metrik ini: BETA GA
String "jenis metrik" dalam tabel ini harus diawali
dengan metastore.googleapis.com/. Awalan tersebut telah dihilangkan dari entri dalam tabel.
Saat membuat kueri label, gunakan awalan metric.labels.; misalnya, metric.labels.LABEL="VALUE".
| Jenis metrik Tahap peluncuran Nama tampilan |
|
|---|---|
| Jenis, Tipe, Unit Resource yang dimonitor |
Deskripsi Label |
federation/server/request_count
BETA
Jumlah permintaan layanan federasi |
|
DELTA, INT64, {request}
metastore.googleapis.com/Federation |
Jumlah permintaan yang dikirim ke Layanan Metastore Dataproc Federasi.
method_name:
Nama metode permintaan.
status:
Status akhir permintaan, salah satu dari [berhasil, client_error, server_error].
version:
Versi layanan Metastore Hive.
|
service/grpc/finished_requests_count
BETA
Jumlah Permintaan gRPC yang Selesai |
|
DELTA, INT64, 1
metastore.googleapis.com/Service |
Jumlah permintaan yang diselesaikan oleh Layanan Metastore Dataproc GRPC.
tier:
Tingkat layanan atau ukuran instance layanan, seperti ENTERPRISE.
version:
Versi layanan Metastore Hive.
status:
Status permintaan, misalnya `BAD_REQUEST`.
method_name:
Nama metode permintaan.
|
service/grpc/received_bytes_count
BETA
Byte gRPC Diterima |
|
DELTA, INT64, By
metastore.googleapis.com/Service |
Jumlah byte yang diterima oleh Layanan Dataproc Metastore.
tier:
Tingkat layanan atau ukuran instance layanan.
version:
Versi layanan Metastore Hive.
|
service/grpc/request_latencies
BETA
Latensi Permintaan gRPC |
|
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service |
Distribusi latensi permintaan gRPC untuk Layanan Metastore Dataproc.
tier:
Tingkat layanan atau ukuran instance layanan.
version:
Versi layanan Metastore Hive.
status:
Status permintaan, misalnya `BAD_REQUEST`.
method_name:
Nama metode permintaan.
|
service/grpc/sent_bytes_count
BETA
gRPC Byte Terkirim |
|
DELTA, INT64, By
metastore.googleapis.com/Service |
Jumlah byte yang dikirim oleh Layanan Dataproc Metastore.
tier:
Tingkat layanan atau ukuran instance layanan.
version:
Versi layanan Metastore Hive.
|
service/grpc/started_requests_count
BETA
Jumlah Permintaan gRPC yang Dimulai |
|
DELTA, INT64, 1
metastore.googleapis.com/Service |
Jumlah permintaan yang diterima dan dimulai oleh Layanan Metastore Dataproc GRPC.
tier:
Tingkat layanan atau ukuran instance layanan.
version:
Versi layanan Metastore Hive.
method_name:
Nama metode permintaan.
|
service/health
GA
Kondisi layanan |
|
GAUGE, INT64, 1
metastore.googleapis.com/Service |
Kualitas Layanan Metastore Dataproc.
tier:
Tingkat layanan atau ukuran instance layanan, seperti ENTERPRISE.
version:
Versi layanan Metastore Hive.
release_tag:
Tag rilis Metastore Dataproc, yang diisi oleh backend layanan dan dapat berubah selama masa aktif layanan.
|
service/multi_region/health
GA
Kondisi layanan multiregional |
|
GAUGE, INT64, 1
metastore.googleapis.com/Service |
Kondisi Layanan Metastore Dataproc multiregional.
version:
Versi layanan Metastore Hive.
release_tag:
Tag rilis Metastore Dataproc, yang diisi oleh backend layanan dan dapat berubah selama masa aktif layanan.
service_region:
Region konstituen tempat layanan Dataproc Metastore dihosting.
scaling_factor:
Faktor penskalaan layanan, salah satu dari [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 2.0, 3.0, 4.0, 5.0, 6.0].
|
service/multi_region/request_count
GA
Jumlah permintaan layanan multiregional |
|
DELTA, INT64, {request}
metastore.googleapis.com/Service |
Jumlah permintaan yang dikirim ke Layanan Metastore Dataproc multiregional.
method_name:
Nama metode permintaan.
version:
Versi layanan Metastore Hive.
service_region:
Region konstituen tempat layanan Dataproc Metastore dihosting.
scaling_factor:
Faktor penskalaan layanan, salah satu dari [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 2.0, 3.0, 4.0, 5.0, 6.0].
|
service/multi_region/request_latencies
GA
Latensi permintaan layanan multiregional |
|
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service |
Latensi permintaan yang dikirim ke Layanan Metastore Dataproc multiregional.
method_name:
Nama metode permintaan.
version:
Versi layanan Metastore Hive.
service_region:
Region konstituen tempat layanan Dataproc Metastore dihosting.
scaling_factor:
Faktor penskalaan layanan, salah satu dari [0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0, 2.0, 3.0, 4.0, 5.0, 6.0].
|
service/query_metadata/request_count
BETA
Jumlah permintaan Antarmuka Admin |
|
DELTA, INT64, {request}
metastore.googleapis.com/Service |
Jumlah permintaan Antarmuka Admin.
database_type:
Jenis database, salah satu [SQL, Spanner].
code:
Kode status gRPC.
|
service/query_metadata/request_latencies
BETA
Latensi permintaan Antarmuka Admin |
|
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service |
Latensi permintaan end-to-end untuk permintaan Antarmuka Admin.
database_type:
Jenis database, salah satu [SQL, Spanner].
code:
Kode status gRPC.
|
service/request_count
GA
Jumlah permintaan |
|
DELTA, INT64, {request}
metastore.googleapis.com/Service |
Jumlah permintaan yang dikirim ke Layanan Metastore Dataproc.
method_name:
Nama metode permintaan.
version:
Versi layanan Metastore Hive.
|
service/scheduled_backups/backup_count
BETA
Jumlah Pencadangan Terjadwal |
|
DELTA, INT64, 1
metastore.googleapis.com/Service |
Jumlah pencadangan terjadwal yang saat ini disimpan untuk layanan.
state:
Status cadangan, salah satu dari [DISABLE, FAILED, IN_PROGRESS].
database_type:
Jenis database, salah satu [SQL, Spanner].
version:
Versi layanan Metastore Hive.
|
service/scheduled_backups/last_backup_duration
BETA
Pencadangan Terjadwal - Durasi Pencadangan Terakhir |
|
GAUGE, INT64, s
metastore.googleapis.com/Service |
Durasi pencadangan terjadwal terakhir yang berhasil dalam hitungan detik. Dibuat sampelnya setiap 60 detik. Setelah sampelnya dibuat, data tidak akan terlihat selama maksimal 120 detik.
state:
Status cadangan, salah satu dari [DISABLE, FAILED, IN_PROGRESS].
database_type:
Jenis database, salah satu [SQL, Spanner].
version:
Versi layanan Metastore Hive.
|
service/scheduled_backups/last_backup_size
BETA
Permintaan Pencadangan Terjadwal - Ukuran Pencadangan Terakhir |
|
GAUGE, INT64, By
metastore.googleapis.com/Service |
Ukuran pencadangan terjadwal terakhir yang berhasil dalam byte. Dibuat sampelnya setiap 60 detik. Setelah sampelnya dibuat, data tidak akan terlihat selama maksimal 120 detik.
state:
Status cadangan, salah satu dari [DISABLE, FAILED, IN_PROGRESS].
database_type:
Jenis database, salah satu [SQL, Spanner].
version:
Versi layanan Metastore Hive.
|
Tabel dihasilkan pada 17-04-2024 21.38.09 UTC.
Membangun dasbor Monitoring kustom
Anda dapat membuat dasbor Monitoring kustom yang menampilkan diagram metrik layanan Dataproc Metastore yang dipilih.
Pilih + CREATE DASBOR dari halaman Dashboards Overview Monitoring.
Beri nama untuk dasbor.
Di menu kanan atas, klik Add Chart untuk membuka jendela Tambahkan Diagram.
Untuk jenis resource, pilih
Dataproc Metastore Service.Pilih satu atau beberapa metrik dan properti metrik serta diagram, lalu klik Save untuk menyimpan diagram.
Tambahkan diagram tambahan ke dasbor jika Anda mau.
Untuk menyimpan dasbor, klik Simpan . Judulnya akan muncul di halaman Dashboards Overview Monitoring.
Anda dapat melihat, memperbarui, dan menghapus diagram dasbor dari halaman tampilan dasbor.
Menggunakan pemberitahuan Monitoring
Anda dapat membuat pemberitahuan Monitoring yang memberi tahu Anda saat layanan atau metrik tugas Metastore Dataproc melewati batas yang ditentukan.
Membuat pemberitahuan
Di konsol Google Cloud, buka Monitoring Alerting.
Untuk membuka formulir Buat kebijakan pemberitahuan baru, klik + BUAT KEBIJAKAN
Tentukan pemberitahuan dengan menambahkan kondisi pemberitahuan, pemicu kebijakan, saluran notifikasi, dan dokumentasi.
Pilih ADD KONDISI untuk membuka formulir kondisi pemberitahuan dengan tab Metrik dipilih.
Isi kolom untuk menentukan kondisi pemberitahuan, lalu klik TAMBAHKAN.
Setelah menambahkan kondisi pemberitahuan, selesaikan kebijakan pemberitahuan dengan menetapkan saluran notifikasi, pemicu kebijakan, dokumentasi, dan nama kebijakan pemberitahuan.
Lihat pemberitahuan
Saat pemberitahuan dipicu oleh kondisi nilai minimum metrik, Monitoring akan membuat insiden dan peristiwa yang sesuai. Anda dapat melihat insiden dari halaman Monitoring Alerting di Konsol Google Cloud. Jika Anda menentukan mekanisme notifikasi dalam kebijakan pemberitahuan, seperti notifikasi SMS atau email, Monitoring juga akan mengirimkan notifikasi insiden.