Die Apache HBase-Integration erfasst Clustermesswerte von master
und Regionsservern. Messwerte von Regionsservern beziehen sich sowohl auf den Speicher als auch auf die Anfrage und die Latenz. Die Integration erfasst auch Logs vom Typ master
und Regionsserver-Logs und parst sie in eine JSON-Nutzlast. Das Ergebnis enthält Felder für Quelle, Ebene und Nachricht.
Weitere Informationen zu HBase finden Sie in der Apache HBase-Dokumentation.
Vorbereitung
Zum Erfassen von HBase-Telemetriedaten müssen Sie den Ops-Agent installieren:
- Installieren Sie für Messwerte die Version 2.11.0 oder höher.
- Installieren Sie für Logs die Version 2.11.0 oder höher.
Diese Integration unterstützt die HBase-Versionen 1.7.x, 2.3.x und 2.4.x.
HBase-Instanz konfigurieren
Wenn Sie einen JMX-Endpunkt verfügbar machen möchten, müssen Sie beim Starten der JVM das Systemattribut com.sun.management.jmxremote.port
festlegen. Außerdem empfehlen wir, das Systemattribut com.sun.management.jmxremote.rmi.port
auf denselben Port festzulegen. Wenn Sie einen JMX-Endpunkt remote verfügbar machen möchten, müssen Sie auch das Systemattribut java.rmi.server.hostname
festlegen.
Standardmäßig werden diese Attribute in der Datei hbase-env.sh
einer HBase-Bereitstellung festgelegt.
Wenn Sie Systemattribute mithilfe von Befehlszeilenargumenten festlegen möchten, stellen Sie beim Starten der JVM dem Attributnamen -D
voran. Wenn Sie beispielsweise com.sun.management.jmxremote.port
auf den Port 10101
festlegen möchten, geben Sie beim Starten der JVM Folgendes an:
-Dcom.sun.management.jmxremote.port=10101
Ops-Agent für HBase konfigurieren
Fügen Sie die erforderlichen Elemente zum Erfassen von Telemetriedaten aus den HBase-Instanzen gemäß der Anleitung unter Ops-Agent konfigurieren hinzu und starten Sie den Agent neu.
Konfigurationsbeispiel
Mit den folgenden Befehlen wird die Konfiguration erstellt, um Telemetriedaten für HBase zu erfassen und aufzunehmen und den Ops-Agent neu zu starten.
Logerfassung konfigurieren
Um Logs von HBase aufzunehmen, müssen Sie Empfänger für die von ZooKeeper erzeugten Logs erstellen und dann eine Pipeline für die neuen Empfänger erstellen.
Geben Sie die folgenden Felder an, um einen Empfänger für Ihre hbase_system
-Logs zu konfigurieren:
Feld | Standard | Beschreibung |
---|---|---|
exclude_paths |
Eine Liste von Dateisystempfadmustern, die aus dem mit include_paths übereinstimmenden Satz ausgeschlossen werden sollen. |
|
include_paths |
[/opt/hbase/logs/hbase-*-regionserver-*.log, /opt/hbase/logs/hbase-*-master-*.log] |
Eine Liste mit Dateisystempfaden, die durch Tailing jeder Datei gelesen werden sollen. In den Pfaden kann ein Platzhalter (* ) verwendet werden. Beispiel: /var/log/hbase*/*.log . |
record_log_file_path |
false |
Wenn true festgelegt ist, wird der Pfad zu der spezifischen Datei, aus der der Logdatensatz abgerufen wurde, im Ausgabelogeintrag als Wert des Labels agent.googleapis.com/log_file_path angezeigt. Bei Verwendung eines Platzhalters wird nur der Pfad der Datei aufgezeichnet, aus der der Eintrag abgerufen wurde. |
type |
Dieser Wert muss hbase_system sein. |
|
wildcard_refresh_interval |
60s |
Das Intervall, in dem Platzhalterdateipfade in include_paths aktualisiert werden. Wird als Zeitdauer angegeben, die durch time.ParseDuration analysiert werden kann, z. B. 30s oder 2m . Dieses Attribut kann bei hohen Logging-Durchsätzen nützlich sein, wenn Logdateien schneller als das Standardintervall rotiert werden. |
Was wird protokolliert?
Der logName
wird von den Empfänger-IDs abgeleitet, die in der Konfiguration angegeben sind. Detaillierte Felder in LogEntry
sind:
hbase_system
-Logs enthalten die folgenden Felder in LogEntry
:
Feld | Typ | Beschreibung |
---|---|---|
jsonPayload.level |
String | Logeintragsebene |
jsonPayload.message |
String | Lognachricht, einschließlich eines detaillierten Stacktrace, sofern angegeben |
jsonPayload.module |
String | Modul von HBase, von dem das Log stammt |
jsonPayload.source |
String | Quelle, aus der das Log stammt |
severity |
String (LogSeverity ) |
Ebene des Logeintrags (übersetzt). |
Messwerterfassung konfigurieren
Um Messwerte von HBase aufzunehmen, müssen Sie Empfänger für die von HBase erzeugten Messwerte erstellen und dann eine Pipeline für die neuen Empfänger erstellen.
Um einen Empfänger für Ihre hbase
-Messwerte zu konfigurieren, geben Sie die folgenden Felder an:
Feld | Standard | Beschreibung |
---|---|---|
collect_jvm_metrics |
true |
Konfiguriert den Empfänger so, dass auch die unterstützten JVM-Messwerte erfasst werden. |
collection_interval |
60s |
Ein Wert für die Zeitdauer, z. B. 30s oder 5m . |
endpoint |
localhost:10101 |
Die JMX-Dienst-URL oder der Host und Port, die zum Erstellen der Dienst-URL verwendet werden. Dieser Wert muss das Format service:jmx:<protocol>:<sap> oder host:port haben. Werte im Format host:port werden verwendet, um die Dienst-URL service:jmx:rmi:///jndi/rmi://<host>:<port>/jmxrmi zu erstellen. |
password |
Das konfigurierte Passwort, wenn JMX für eine erforderliche Authentifizierung konfiguriert ist. | |
type |
Dieser Wert muss hbase sein. |
|
username |
Der konfigurierte Nutzername, wenn JMX für eine erforderliche Authentifizierung konfiguriert ist. |
Was wird überwacht?
Die folgende Tabelle enthält die Liste der Messwerte, die der Ops-Agent aus der HBase-Instanz erfasst.
Messwerttyp | |
---|---|
Art, Typ Überwachte Ressourcen |
Label |
workload.googleapis.com/hbase.master.region_server.count
|
|
GAUGE , INT64 gce_instance |
state
|
workload.googleapis.com/hbase.master.regions_in_transition.count
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/hbase.master.regions_in_transition.oldest_age
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/hbase.master.regions_in_transition.over_threshold
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/hbase.region_server.active_handler.count
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.authentication.count
|
|
GAUGE , INT64 gce_instance |
region_server state
|
workload.googleapis.com/hbase.region_server.block_cache.operation.count
|
|
GAUGE , INT64 gce_instance |
region_server state
|
workload.googleapis.com/hbase.region_server.blocked_update.time
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.disk.store_file.count
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.disk.store_file.size
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.files.local
|
|
GAUGE , DOUBLE gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.gc.old_gen.time
|
|
CUMULATIVE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.gc.time
|
|
CUMULATIVE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.gc.young_gen.time
|
|
CUMULATIVE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.open_connection.count
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.append.latency.max
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.append.latency.mean
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.append.latency.median
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.append.latency.min
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.append.latency.p99
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.delete.latency.max
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.delete.latency.mean
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.delete.latency.median
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.delete.latency.min
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.delete.latency.p99
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.get.latency.max
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.get.latency.mean
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.get.latency.median
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.get.latency.min
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.get.latency.p99
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.increment.latency.max
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.increment.latency.mean
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.increment.latency.median
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.increment.latency.min
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.increment.latency.p99
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.put.latency.max
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.put.latency.mean
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.put.latency.median
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.put.latency.min
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.put.latency.p99
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.replay.latency.max
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.replay.latency.mean
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.replay.latency.median
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.replay.latency.min
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.replay.latency.p99
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operations.slow
|
|
GAUGE , INT64 gce_instance |
operation region_server
|
workload.googleapis.com/hbase.region_server.queue.length
|
|
GAUGE , INT64 gce_instance |
region_server state
|
workload.googleapis.com/hbase.region_server.queue.request.count
|
|
GAUGE , INT64 gce_instance |
region_server state
|
workload.googleapis.com/hbase.region_server.region.count
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.request.count
|
|
GAUGE , INT64 gce_instance |
region_server state
|
workload.googleapis.com/hbase.region_server.write_ahead_log.count
|
|
GAUGE , INT64 gce_instance |
region_server
|
Beispieldashboard
Damit Sie Ihre HBase-Messwerte aufrufen können, müssen Sie ein Diagramm oder ein Dashboard konfiguriert haben. Cloud Monitoring bietet eine Bibliothek mit Beispiel-Dashboards für Integrationen, die vorkonfigurierte Diagramme enthalten. Informationen zum Installieren dieser Dashboards finden Sie unter Beispiel-Dashboards installieren.
Konfiguration prüfen
In diesem Abschnitt wird beschrieben, wie Sie prüfen können, ob Sie den HBase-Empfänger richtig konfiguriert haben. Es kann ein oder zwei Minuten dauern, bis der Ops-Agent Telemetriedaten erfasst.
Um zu prüfen, ob die Logs aufgenommen wurden, rufen Sie den Log-Explorer auf. Führen Sie dann die folgende Abfrage aus, um die HBase-Logs aufzurufen:
resource.type="gce_instance"
log_id("hbase_system")
Um zu prüfen, ob die Messwerte aufgenommen wurden, rufen Sie den Metrics Explorer auf und führen Sie die folgende Abfrage auf dem Tab MQL aus:
fetch gce_instance
| metric 'workload.googleapis.com/hbase.region_server.operation.append.latency.p99'
| every 1m
Nächste Schritte
Eine Anleitung zur Installation von Ops-Agent mit Ansible zum Konfigurieren einer Drittanbieteranwendung und zum Installieren eines Beispieldashboards finden Sie im Video Ops-Agent installieren, um Fehler in Drittanbieteranwendungen zu beheben.