Cloud Monitoring memberikan visibilitas pada performa, waktu beroperasi, dan kondisi keseluruhan aplikasi yang didukung oleh teknologi cloud. Google Cloud Observability mengumpulkan dan menyerap metrik, peristiwa, dan metadata dari layanan Dataproc Metastore untuk menghasilkan insight menggunakan dasbor dan diagram.
Lihat Harga Monitoring untuk memahami biaya Anda.
Lihat Kuota dan batas Monitoring untuk mengetahui informasi tentang retensi data metrik.
Mengakses metrik layanan di Monitoring
Metrik resource layanan Dataproc Metastore otomatis diaktifkan di layanan Dataproc Metastore. Gunakan Monitoring untuk melihat metrik ini.
Anda dapat mengakses Monitoring dari konsol Google Cloud atau dengan menggunakan Monitoring API.
Konsol
Di konsol Google Cloud, buka halaman Cloud Monitoring > Metrics Explorer:
Dari menu drop-down "Temukan jenis resource dan metrik", pilih resource
Dataproc Metastore Service.Klik lagi di kotak input, lalu pilih metrik dari daftar drop-down. Mengarahkan kursor ke nama metrik akan menampilkan informasi tentang metrik tersebut.
Anda dapat memilih filter, mengelompokkan menurut label metrik, melakukan agregasi, dan memilih opsi tampilan diagram.
REST
Anda dapat menggunakan API timeSeries.list Monitoring untuk mengambil dan mencantumkan metrik yang ditentukan oleh ekspresi filter.
Gunakan template Coba API ini di halaman API untuk mengirim
permintaan API dan menampilkan respons.
Metrik layanan Metastore Dataproc di Monitoring
Metrik dari Dataproc Metastore. Tahap peluncuran metrik ini: BETA GA
String "jenis metrik" dalam tabel ini harus diawali
dengan metastore.googleapis.com/. Awalan tersebut telah dihilangkan dari entri dalam tabel.
Saat membuat kueri label, gunakan awalan metric.labels.; misalnya, metric.labels.LABEL="VALUE".
| Jenis metrik Tahap peluncuran (Tingkat hierarki resource) Nama tampilan |
|
|---|---|
| Jenis, Tipe, Unit Resource yang dimonitor |
Deskripsi Label |
federation/health
BETA
(project)
Status layanan federasi |
|
GAUGE, INT64, 1
metastore.googleapis.com/Federation |
Status Federated Dataproc Metastore Service.
version:
Versi layanan Hive Metastore.
|
federation/server/request_count
BETA
(project)
Jumlah permintaan layanan federasi |
|
DELTA, INT64, {request}
metastore.googleapis.com/Federation |
Jumlah permintaan yang dikirim ke Layanan Metastore Dataproc Gabungan.
method_name:
Nama metode permintaan.
status:
Status akhir permintaan, salah satu dari [success, client_error, server_error].
version:
Versi Hive Metastore layanan.
|
service/grpc/finished_requests_count
BETA
(project)
Jumlah Permintaan gRPC yang Selesai |
|
DELTA, INT64, 1
metastore.googleapis.com/Service |
Jumlah permintaan yang diselesaikan oleh Layanan Metastore Dataproc GRPC.
tier:
Tingkat layanan atau ukuran instance layanan, seperti ENTERPRISE.
version:
Versi Hive Metastore layanan.
status:
Status permintaan, seperti `BAD_REQUEST`.
method_name:
Nama metode permintaan.
|
service/grpc/received_bytes_count
BETA
(project)
gRPC Bytes Received |
|
DELTA, INT64, By
metastore.googleapis.com/Service |
Jumlah byte yang diterima oleh Layanan Dataproc Metastore.
tier:
Tingkat layanan atau ukuran instance layanan.
version:
Versi Hive Metastore layanan.
|
service/grpc/request_latencies
BETA
(project)
Latensi Permintaan gRPC |
|
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service |
Distribusi latensi permintaan gRPC untuk Layanan Metastore Dataproc.
tier:
Tingkat layanan atau ukuran instance layanan.
version:
Versi Hive Metastore layanan.
status:
Status permintaan, seperti `BAD_REQUEST`.
method_name:
Nama metode permintaan.
|
service/grpc/sent_bytes_count
BETA
(project)
gRPC Bytes Sent |
|
DELTA, INT64, By
metastore.googleapis.com/Service |
Jumlah byte yang dikirim oleh Layanan Metastore Dataproc.
tier:
Tingkat layanan atau ukuran instance layanan.
version:
Versi Hive Metastore layanan.
|
service/grpc/started_requests_count
BETA
(project)
Jumlah Permintaan gRPC yang Dimulai |
|
DELTA, INT64, 1
metastore.googleapis.com/Service |
Jumlah permintaan yang diterima dan dimulai oleh Layanan Metastore Dataproc GRPC.
tier:
Tingkat layanan atau ukuran instance layanan.
version:
Versi Hive Metastore layanan.
method_name:
Nama metode permintaan.
|
service/grpc_client/finished_requests_count
BETA
(project)
Jumlah Permintaan Klien gRPC yang Selesai |
|
CUMULATIVE, INT64, 1
metastore.googleapis.com/Service |
Total jumlah RPC yang diselesaikan di klien, terlepas dari keberhasilan atau kegagalan.
status:
Status permintaan, seperti `BAD_REQUEST`.
method_name:
Nama metode permintaan.
|
service/grpc_client/received_bytes_count
BETA
(project)
Byte Klien gRPC yang Diterima |
|
CUMULATIVE, INT64, By
metastore.googleapis.com/Service |
Jumlah byte yang diterima oleh klien gRPC. |
service/grpc_client/request_latencies
BETA
(project)
Latensi Permintaan Klien gRPC |
|
CUMULATIVE, DISTRIBUTION, ms
metastore.googleapis.com/Service |
Distribusi latensi permintaan gRPC untuk Layanan Metastore Dataproc.
status:
Status permintaan, seperti `BAD_REQUEST`.
method_name:
Nama metode permintaan.
|
service/grpc_client/sent_bytes_count
BETA
(project)
gRPC Client Bytes Sent |
|
CUMULATIVE, INT64, By
metastore.googleapis.com/Service |
Jumlah byte yang dikirim oleh klien gRPC. |
service/grpc_client/started_requests_count
BETA
(project)
Jumlah Permintaan Klien gRPC yang Dimulai |
|
CUMULATIVE, INT64, 1
metastore.googleapis.com/Service |
Jumlah permintaan yang dimulai oleh klien gRPC.
method_name:
Nama metode permintaan.
|
service/health
GA
(project)
Kualitas layanan |
|
GAUGE, INT64, 1
metastore.googleapis.com/Service |
Status Dataproc Metastore Service.
tier:
Tingkat layanan atau ukuran instance layanan, seperti ENTERPRISE.
version:
Versi Hive Metastore layanan.
release_tag:
Tag rilis Dataproc Metastore, diisi oleh backend layanan dan dapat berubah selama masa aktif layanan.
|
service/metadata/bytes_used
BETA
(project)
Ukuran metadata yang disimpan di layanan Dataproc Metastore. |
|
GAUGE, INT64, By
metastore.googleapis.com/Service |
Jumlah data yang disimpan di database backend layanan.
version:
Versi layanan Hive Metastore.
database_type:
Jenis database, salah satu dari [SQL, Spanner].
|
service/migration/replication_lag
BETA
(project)
Latensi pemrosesan pipeline replikasi dalam hitungan detik. |
|
GAUGE, DOUBLE, s
metastore.googleapis.com/Service |
Durasi maksimum saat ini dalam detik yang diperlukan untuk mereplikasi data ke Dataproc Metastore.
migration_id:
ID migrasi.
|
service/migration/write_throughput
BETA
(project)
Throughput operasi tulis database tujuan. |
|
GAUGE, DOUBLE, By/s
metastore.googleapis.com/Service |
Throughput operasi tulis saat ini di database Dataproc Metastore tempat data disalin selama fase replikasi.
migration_id:
ID migrasi.
|
service/multi_region/health
GA
(project)
Status layanan multi-regional |
|
GAUGE, INT64, 1
metastore.googleapis.com/Service |
Status Dataproc Metastore Service multi-regional.
version:
Versi layanan Hive Metastore.
release_tag:
Tag rilis Dataproc Metastore, diisi oleh backend layanan dan dapat berubah selama masa aktif layanan.
service_region: Wilayah konstituen tempat layanan Dataproc Metastore dihosting.
scaling_factor:
Faktor penskalaan layanan, salah satu dari [0,1, 0,2, 0,3, 0,4, 0,5, 0,6, 0,7, 0,8, 0,9, 1,0, 2,0, 3,0, 4,0, 5,0, 6,0].
|
service/multi_region/request_count
GA
(project)
Jumlah permintaan layanan multi-regional |
|
DELTA, INT64, {request}
metastore.googleapis.com/Service |
Jumlah permintaan yang dikirim ke Layanan Metastore Dataproc multi-regional.
method_name:
Nama metode permintaan.
version:
Versi layanan Hive Metastore.
service_region: Wilayah konstituen tempat layanan Dataproc Metastore dihosting.
scaling_factor:
Faktor penskalaan layanan, salah satu dari [0,1, 0,2, 0,3, 0,4, 0,5, 0,6, 0,7, 0,8, 0,9, 1,0, 2,0, 3,0, 4,0, 5,0, 6,0].
|
service/multi_region/request_latencies
GA
(project)
Latensi permintaan layanan multi-regional |
|
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service |
Latensi permintaan yang dikirim ke Layanan Dataproc Metastore multi-regional.
method_name:
Nama metode permintaan.
version:
Versi layanan Hive Metastore.
service_region: Wilayah konstituen tempat layanan Dataproc Metastore dihosting.
scaling_factor:
Faktor penskalaan layanan, salah satu dari [0,1, 0,2, 0,3, 0,4, 0,5, 0,6, 0,7, 0,8, 0,9, 1,0, 2,0, 3,0, 4,0, 5,0, 6,0].
|
service/query_metadata/request_count
BETA
(project)
Jumlah permintaan Antarmuka Admin |
|
DELTA, INT64, {request}
metastore.googleapis.com/Service |
Jumlah permintaan Antarmuka Admin.
database_type:
Jenis database, salah satu dari [SQL, Spanner].
code:
Kode status gRPC.
|
service/query_metadata/request_latencies
BETA
(project)
Latensi permintaan Antarmuka Admin |
|
DELTA, DISTRIBUTION, ms
metastore.googleapis.com/Service |
Latensi permintaan menyeluruh untuk permintaan Antarmuka Admin.
database_type:
Jenis database, salah satu dari [SQL, Spanner].
code:
Kode status gRPC.
|
service/request_count
GA
(project)
Jumlah permintaan |
|
DELTA, INT64, {request}
metastore.googleapis.com/Service |
Jumlah permintaan yang dikirim ke Layanan Metastore Dataproc.
method_name:
Nama metode permintaan.
version:
Versi layanan Hive Metastore.
|
service/scheduled_backups/backup_count
BETA
(project)
Jumlah Pencadangan Terjadwal |
|
DELTA, INT64, 1
metastore.googleapis.com/Service |
Jumlah cadangan terjadwal yang saat ini disimpan untuk layanan.
state:
Status pencadangan, salah satu dari [BERHASIL, GAGAL, SEDANG BERLANGSUNG].
database_type:
Jenis database, salah satu dari [SQL, Spanner].
version:
Versi Hive Metastore layanan.
|
service/scheduled_backups/last_backup_duration
BETA
(project)
Pencadangan Terjadwal - Durasi Pencadangan Terakhir |
|
GAUGE, INT64, s
metastore.googleapis.com/Service |
Durasi pencadangan terjadwal terakhir yang berhasil dalam detik. Dibuat sampelnya setiap 60 detik. Setelah sampelnya dibuat, data tidak akan terlihat selama maksimal 120 detik.
state:
Status pencadangan, salah satu dari [BERHASIL, GAGAL, SEDANG BERLANGSUNG].
database_type:
Jenis database, salah satu dari [SQL, Spanner].
version:
Versi Hive Metastore layanan.
|
service/scheduled_backups/last_backup_size
BETA
(project)
Scheduled Backups Request - Last Backup Size |
|
GAUGE, INT64, By
metastore.googleapis.com/Service |
Ukuran pencadangan terjadwal terakhir yang berhasil dalam byte. Dibuat sampelnya setiap 60 detik. Setelah sampelnya dibuat, data tidak akan terlihat selama maksimal 120 detik.
state:
Status pencadangan, salah satu dari [BERHASIL, GAGAL, SEDANG BERLANGSUNG].
database_type:
Jenis database, salah satu dari [SQL, Spanner].
version:
Versi Hive Metastore layanan.
|
Tabel dihasilkan pada 2025-02-13 21:19:36 UTC.
Membuat dasbor Monitoring kustom
Anda dapat membuat dasbor Monitoring kustom yang menampilkan diagram metrik layanan Dataproc Metastore yang dipilih.
Pilih + CREATE DASHBOARD dari halaman Dashboards Overview Monitoring.
Berikan nama untuk dasbor.
Di menu kanan atas, klik Tambahkan Diagram untuk membuka jendela Tambahkan Diagram.
Untuk jenis resource, pilih
Dataproc Metastore Service.Pilih satu atau beberapa metrik serta properti metrik dan diagram, lalu klik Simpan untuk menyimpan diagram.
Tambahkan diagram tambahan ke dasbor jika Anda mau.
Untuk menyimpan dasbor, klik Simpan . Judulnya muncul di halaman Ringkasan Dasbor Monitoring.
Anda dapat melihat, memperbarui, dan menghapus diagram dasbor dari halaman tampilan dasbor.
Menggunakan pemberitahuan Monitoring
Anda dapat membuat pemberitahuan Monitoring yang memberi tahu Anda saat metrik tugas atau layanan Dataproc Metastore melampaui batas yang ditentukan.
Membuat pemberitahuan
Di konsol Google Cloud, buka Monitoring Alerting.
Untuk membuka formulir Buat kebijakan pemberitahuan baru, klik + BUAT KEBIJAKAN
Tentukan pemberitahuan dengan menambahkan kondisi pemberitahuan, pemicu kebijakan, saluran notifikasi, dan dokumentasi.
Pilih TAMBAHKAN KONDISI untuk membuka formulir kondisi pemberitahuan dengan tab Metrik dipilih.
Isi kolom untuk menentukan kondisi pemberitahuan, lalu klik TAMBAHKAN.
Setelah menambahkan kondisi pemberitahuan, lengkapi kebijakan pemberitahuan dengan menetapkan saluran notifikasi, pemicu kebijakan, dokumentasi, dan nama kebijakan pemberitahuan.
Lihat pemberitahuan
Saat pemberitahuan dipicu oleh kondisi nilai minimum metrik, Monitoring akan membuat insiden dan peristiwa yang sesuai. Anda dapat melihat insiden dari halaman Monitoring Alerting di konsol Google Cloud. Jika Anda menentukan mekanisme notifikasi dalam kebijakan pemberitahuan, seperti notifikasi email atau SMS, Monitoring juga akan mengirimkan notifikasi insiden.