Apache HBase

Integrasi Apache HBase mengumpulkan metrik cluster dari master dan server region. Metrik server region berkaitan dengan penyimpanan serta permintaan dan latensi. Integrasi ini juga mengumpulkan log server region dan master serta menguraikannya menjadi payload JSON. Hasilnya mencakup kolom untuk sumber, level, dan pesan.

Untuk informasi selengkapnya tentang HBase, lihat dokumentasi Apache HBase.

Prasyarat

Untuk mengumpulkan telemetri HBase, Anda harus menginstal Agen Operasional:

  • Untuk metrik, instal versi 2.11.0 atau yang lebih baru.
  • Untuk log, instal versi 2.11.0 atau yang lebih baru.

Integrasi ini mendukung HBase versi 1.7.x, 2.3.x, dan 2.4.x.

Mengonfigurasi instance HBase

Untuk mengekspos endpoint JMX, Anda harus menetapkan properti sistem com.sun.management.jmxremote.port saat memulai JVM. Sebaiknya setel properti sistem com.sun.management.jmxremote.rmi.port ke port yang sama. Untuk mengekspos endpoint JMX dari jarak jauh, Anda juga harus menyetel properti sistem java.rmi.server.hostname.

Secara default, properti ini ditetapkan dalam file hbase-env.sh deployment HBase.

Untuk menetapkan properti sistem menggunakan argumen command line, awali nama properti dengan -D saat memulai JVM. Misalnya, untuk menetapkan com.sun.management.jmxremote.port ke port 10101, tentukan hal berikut saat memulai JVM:

-Dcom.sun.management.jmxremote.port=10101

Mengonfigurasi Agen Operasional untuk HBase

Dengan mengikuti panduan untuk Mengonfigurasi Agen Ops, tambahkan elemen yang diperlukan untuk mengumpulkan telemetri dari instance HBase, dan mulai ulang agen.

Contoh konfigurasi

Perintah berikut membuat konfigurasi untuk mengumpulkan dan menyerap telemetri untuk HBase dan memulai ulang Agen Operasional.

# Configures Ops Agent to collect telemetry from the app and restart Ops Agent.

set -e

# Create a back up of the existing file so existing configurations are not lost.
sudo cp /etc/google-cloud-ops-agent/config.yaml /etc/google-cloud-ops-agent/config.yaml.bak

# Configure the Ops Agent.
sudo tee /etc/google-cloud-ops-agent/config.yaml > /dev/null << EOF
metrics:
  receivers:
    hbase:
      type: hbase
      endpoint: service:jmx:rmi:///jndi/rmi://127.0.0.1:10101/jmxrmi
  service:
    pipelines:
      hbase:
        receivers:
          - hbase
logging:
  receivers:
    hbase_system:
      type: hbase_system
  service:
    pipelines:
      hbase_system:
        receivers:
          - hbase_system
EOF

sudo service google-cloud-ops-agent restart
sleep 60

Mengonfigurasi koleksi log

Untuk menyerap log dari HBase, Anda harus membuat penerima untuk log yang dihasilkan HBase, lalu membuat pipeline untuk penerima baru.

Untuk mengonfigurasi penerima log hbase_system, tentukan kolom berikut:

Kolom Default Deskripsi
exclude_paths Daftar pola jalur sistem file yang akan dikecualikan dari kumpulan yang cocok dengan include_paths.
include_paths [/opt/hbase/logs/hbase-*-regionserver-*.log, /opt/hbase/logs/hbase-*-master-*.log] Daftar jalur sistem file yang akan dibaca dengan tailing setiap file. Karakter pengganti (*) dapat digunakan di jalur; misalnya, /var/log/hbase*/*.log.
record_log_file_path false Jika ditetapkan ke true, jalur ke file tertentu tempat data log diperoleh akan muncul di entri log output sebagai nilai label agent.googleapis.com/log_file_path. Saat menggunakan karakter pengganti, hanya jalur file tempat data diperoleh yang akan dicatat.
type Nilai ini harus hbase_system.
wildcard_refresh_interval 60s Interval tempat jalur file karakter pengganti di include_paths dimuat ulang. Diberikan sebagai durasi waktu yang dapat diuraikan oleh time.ParseDuration, misalnya 30s atau 2m. Properti ini mungkin berguna pada throughput logging yang tinggi dengan file log dirotasi lebih cepat daripada interval default.

Apa itu log?

logName berasal dari ID penerima yang ditentukan dalam konfigurasi. Kolom mendetail di dalam LogEntry adalah sebagai berikut.

Log hbase_system berisi kolom berikut di LogEntry:

Kolom Jenis Deskripsi
jsonPayload.level string Log tingkat entri
jsonPayload.message string Pesan log, termasuk stacktrace terperinci jika diberikan
jsonPayload.module string Modul hbase tempat log berasal
jsonPayload.source string sumber asal log
severity string (LogSeverity) Log tingkat entri (diterjemahkan).

Mengonfigurasi pengumpulan metrik

Untuk menyerap metrik dari HBase, Anda harus membuat penerima untuk metrik yang dihasilkan HBase, lalu membuat pipeline untuk penerima baru tersebut.

Penerima ini tidak mendukung penggunaan beberapa instance dalam konfigurasi, misalnya, untuk memantau beberapa endpoint. Semua instance tersebut menulis ke deret waktu yang sama, dan Cloud Monitoring tidak memiliki cara untuk membedakannya.

Untuk mengonfigurasi penerima metrik hbase, tentukan kolom berikut:

Kolom Default Deskripsi
collect_jvm_metrics true Mengonfigurasi penerima agar juga mengumpulkan metrik JVM yang didukung.
collection_interval 60s Nilai durasi waktu, seperti 30s atau 5m.
endpoint localhost:10101 JMX Service URL atau host dan port yang digunakan untuk membuat URL layanan. Nilai ini harus dalam bentuk service:jmx:<protocol>:<sap> atau host:port. Nilai dalam formulir host:port digunakan untuk membuat URL layanan service:jmx:rmi:///jndi/rmi://<host>:<port>/jmxrmi.
password Sandi yang dikonfigurasi jika JMX dikonfigurasi untuk mewajibkan autentikasi.
type Nilai ini harus hbase.
username Nama pengguna yang dikonfigurasi jika JMX dikonfigurasi untuk mewajibkan autentikasi.

Hal yang dipantau

Tabel berikut menyediakan daftar metrik yang dikumpulkan Agen Operasional dari instance HBase.

Jenis metrik
Jenis, Jenis
Resource yang dipantau
Label
workload.googleapis.com/hbase.master.region_server.count
GAUGEINT64
gce_instance
state
workload.googleapis.com/hbase.master.regions_in_transition.count
GAUGEINT64
gce_instance
 
workload.googleapis.com/hbase.master.regions_in_transition.oldest_age
GAUGEINT64
gce_instance
 
workload.googleapis.com/hbase.master.regions_in_transition.over_threshold
GAUGEINT64
gce_instance
 
workload.googleapis.com/hbase.region_server.active_handler.count
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.authentication.count
GAUGEINT64
gce_instance
region_server
state
workload.googleapis.com/hbase.region_server.block_cache.operation.count
GAUGEINT64
gce_instance
region_server
state
workload.googleapis.com/hbase.region_server.blocked_update.time
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.disk.store_file.count
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.disk.store_file.size
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.files.local
GAUGEDOUBLE
gce_instance
region_server
workload.googleapis.com/hbase.region_server.gc.old_gen.time
CUMULATIVEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.gc.time
CUMULATIVEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.gc.young_gen.time
CUMULATIVEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.open_connection.count
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.operation.append.latency.max
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.operation.append.latency.mean
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.operation.append.latency.median
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.operation.append.latency.min
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.operation.append.latency.p99
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.operation.delete.latency.max
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.operation.delete.latency.mean
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.operation.delete.latency.median
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.operation.delete.latency.min
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.operation.delete.latency.p99
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.operation.get.latency.max
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.operation.get.latency.mean
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.operation.get.latency.median
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.operation.get.latency.min
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.operation.get.latency.p99
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.operation.increment.latency.max
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.operation.increment.latency.mean
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.operation.increment.latency.median
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.operation.increment.latency.min
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.operation.increment.latency.p99
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.operation.put.latency.max
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.operation.put.latency.mean
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.operation.put.latency.median
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.operation.put.latency.min
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.operation.put.latency.p99
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.operation.replay.latency.max
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.operation.replay.latency.mean
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.operation.replay.latency.median
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.operation.replay.latency.min
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.operation.replay.latency.p99
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.operations.slow
GAUGEINT64
gce_instance
operation
region_server
workload.googleapis.com/hbase.region_server.queue.length
GAUGEINT64
gce_instance
region_server
state
workload.googleapis.com/hbase.region_server.queue.request.count
GAUGEINT64
gce_instance
region_server
state
workload.googleapis.com/hbase.region_server.region.count
GAUGEINT64
gce_instance
region_server
workload.googleapis.com/hbase.region_server.request.count
GAUGEINT64
gce_instance
region_server
state
workload.googleapis.com/hbase.region_server.write_ahead_log.count
GAUGEINT64
gce_instance
region_server

Memverifikasi konfigurasi

Bagian ini menjelaskan cara memverifikasi bahwa Anda mengonfigurasi penerima HBase dengan benar. Mungkin perlu waktu satu atau dua menit bagi Agen Operasional untuk mulai mengumpulkan telemetri.

Untuk memastikan bahwa log HBase dikirim ke Cloud Logging, lakukan hal berikut:

  1. Pada panel navigasi Google Cloud Console, pilih Logging, lalu pilih Logs Explorer:

    Buka Logs Explorer

  2. Masukkan kueri berikut di editor, lalu klik Run query:
    resource.type="gce_instance"
    log_id("hbase_system")
    

Untuk memverifikasi bahwa metrik HBase dikirim ke Cloud Monitoring, lakukan hal berikut:

  1. Pada panel navigasi Konsol Google Cloud, pilih Monitoring, lalu pilih  Metrics Explorer:

    Buka Metrics Explorer

  2. Di toolbar panel pembuat kueri, pilih tombol yang namanya adalah  MQL atau  PromQL.
  3. Pastikan MQL dipilih pada tombol Language. Tombol bahasa berada di toolbar yang sama dengan yang memungkinkan Anda memformat kueri.
  4. Masukkan kueri berikut di editor, lalu klik Run query:
    fetch gce_instance
    | metric 'workload.googleapis.com/hbase.region_server.operation.append.latency.p99'
    | every 1m
    

Lihat dasbor

Untuk melihat metrik HBase, Anda harus mengonfigurasi diagram atau dasbor. Integrasi HBase menyertakan satu atau beberapa dasbor untuk Anda. Setiap dasbor akan otomatis diinstal setelah Anda mengonfigurasi integrasi dan Agen Operasional mulai mengumpulkan data metrik.

Anda juga dapat melihat pratinjau statis dasbor tanpa menginstal integrasi.

Untuk melihat dasbor yang terinstal, lakukan hal berikut:

  1. Pada panel navigasi Konsol Google Cloud, pilih Monitoring, lalu pilih  Dashboards:

    Buka Dasbor

  2. Pilih tab Dashboard List, lalu pilih kategori Integrations.
  3. Klik nama dasbor yang ingin Anda lihat.

Jika Anda telah mengonfigurasi integrasi, tetapi dasbor belum diinstal, periksa apakah Agen Operasional sedang berjalan. Jika tidak ada data metrik untuk diagram di dasbor, penginstalan dasbor akan gagal. Setelah Agen Operasional mulai mengumpulkan metrik, dasbor akan diinstal untuk Anda.

Untuk melihat pratinjau statis dasbor, lakukan langkah berikut:

  1. Pada panel navigasi Konsol Google Cloud, pilih Monitoring, lalu pilih  Integrations:

    Buka Integrations

  2. Klik filter platform deployment Compute Engine.
  3. Temukan entri untuk HBase, lalu klik View Details.
  4. Pilih tab Dashboards untuk melihat pratinjau statis. Jika dasbor sudah terinstal, Anda dapat membukanya dengan mengklik View dashboard.

Untuk informasi selengkapnya tentang dasbor di Cloud Monitoring, lihat Dasbor dan diagram.

Untuk mengetahui informasi selengkapnya tentang penggunaan halaman Integrasi, lihat Mengelola integrasi.

Menginstal kebijakan pemberitahuan

Kebijakan pemberitahuan menginstruksikan Cloud Monitoring untuk memberi tahu Anda saat kondisi tertentu terjadi. Integrasi HBase menyertakan satu atau beberapa kebijakan pemberitahuan untuk Anda gunakan. Anda dapat melihat dan menginstal kebijakan pemberitahuan ini dari halaman Integrations di Monitoring.

Untuk melihat deskripsi kebijakan pemberitahuan yang tersedia dan menginstalnya, lakukan langkah berikut:

  1. Pada panel navigasi Konsol Google Cloud, pilih Monitoring, lalu pilih  Integrations:

    Buka Integrations

  2. Temukan entri untuk HBase, lalu klik View Details.
  3. Pilih tab Alerts. Tab ini memberikan deskripsi tentang kebijakan pemberitahuan yang tersedia dan menyediakan antarmuka untuk menginstalnya.
  4. Instal kebijakan pemberitahuan. Kebijakan pemberitahuan perlu mengetahui ke mana pemberitahuan harus dikirimkan jika pemberitahuan telah dipicu, sehingga memerlukan informasi dari Anda untuk penginstalan. Untuk menginstal kebijakan pemberitahuan, lakukan tindakan berikut:
    1. Dari daftar kebijakan pemberitahuan yang tersedia, pilih yang ingin Anda instal.
    2. Di bagian Configure notifications, pilih satu atau beberapa saluran notifikasi. Anda memiliki opsi untuk menonaktifkan penggunaan saluran notifikasi. Namun, jika Anda melakukannya, kebijakan pemberitahuan akan diaktifkan secara diam-diam. Anda dapat memeriksa statusnya di Monitoring, tetapi Anda tidak akan menerima notifikasi.

      Untuk informasi lebih lanjut tentang saluran notifikasi, lihat Mengelola saluran notifikasi.

    3. Klik Create Policy.

Untuk mengetahui informasi selengkapnya tentang kebijakan pemberitahuan di Cloud Monitoring, lihat Pengantar pemberitahuan.

Untuk mengetahui informasi selengkapnya tentang penggunaan halaman Integrasi, lihat Mengelola integrasi.

Langkah selanjutnya

Untuk panduan cara menggunakan Ansible untuk menginstal Agen Operasional, mengonfigurasi aplikasi pihak ketiga, dan menginstal contoh dasbor, lihat video Menginstal Agen Operasional untuk memecahkan masalah aplikasi pihak ketiga.