Apache HBase

Die Apache HBase-Integration erfasst Clustermesswerte von master und Regionsservern. Messwerte von Regionsservern beziehen sich sowohl auf den Speicher als auch auf die Anfrage und die Latenz. Die Integration erfasst auch Logs vom Typ master und Regionsserver-Logs und parst sie in eine JSON-Nutzlast. Das Ergebnis enthält Felder für Quelle, Ebene und Nachricht.

Weitere Informationen zu HBase finden Sie unter hbase.apache.org/.

Vorbereitung

Zum Erfassen und Aufnehmen von HBase-Logs und -Messwerten müssen Sie Ops-Agent Version 2.11.0 oder höher installieren.

Dieser Empfänger unterstützt die Apache HBase-Versionen 1.7.x, 2.3.x und 2.4.x.

HBase-Instanz konfigurieren

Wenn Sie einen JMX-Endpunkt verfügbar machen möchten, müssen Sie beim Starten der JVM das Systemattribut com.sun.management.jmxremote.port festlegen. Außerdem empfehlen wir, das Systemattribut com.sun.management.jmxremote.rmi.port auf denselben Port festzulegen. Wenn Sie einen JMX-Endpunkt remote verfügbar machen möchten, müssen Sie auch das Systemattribut java.rmi.server.hostname festlegen.

Standardmäßig werden diese Attribute in der Datei hbase-env.sh einer HBase-Bereitstellung festgelegt.

Wenn Sie Systemattribute mithilfe von Befehlszeilenargumenten festlegen möchten, stellen Sie beim Starten der JVM dem Attributnamen -D voran. Wenn Sie beispielsweise com.sun.management.jmxremote.port auf den Port 10101 festlegen möchten, geben Sie beim Starten der JVM Folgendes an:

-Dcom.sun.management.jmxremote.port=10101

Ops-Agent für HBase konfigurieren

Fügen Sie die erforderlichen Elemente zum Erfassen von Logs aus den HBase-Instanzen gemäß der Anleitung unter Ops-Agent konfigurieren hinzu und starten Sie den Agent neu.

Konfigurationsbeispiel

Der folgende Befehl erstellt die Konfigurationsdatei, um Logs und Messwerte für HBase zu erfassen und aufzunehmen, und startet den Ops-Agent unter Linux neu.

sudo tee /etc/google-cloud-ops-agent/config.yaml > /dev/null << EOF
logging:
  receivers:
    hbase_system:
      type: hbase_system
  service:
    pipelines:
      hbase:
        receivers:
          - hbase_system
metrics:
   receivers:
      hbase:
         type: hbase
   service:
      pipelines:
         hbase:
            receivers:
               - hbase
EOF
sudo service google-cloud-ops-agent restart

Logerfassung konfigurieren

Um Logs von HBase aufzunehmen, müssen Sie Empfänger für die von HBase erzeugten Logs erstellen und dann eine Pipeline für die neuen Empfänger erstellen.

Geben Sie die folgenden Felder an, um einen Empfänger für Ihre hbase_system-Logs zu konfigurieren:

Feld	Standard	Beschreibung
`type`		Dieser Wert muss `hbase_system` sein.
`include_paths`	`[/opt/hbase/logs/hbase--regionserver-.log, /opt/hbase/logs/hbase--master-.log]`	Eine Liste mit Dateisystempfaden, die durch Tailing jeder Datei gelesen werden sollen. In den Pfaden kann ein Platzhalter (``) verwendet werden. Beispiel: `/var/log/hbase/*.log`.
`collect_jvm_metrics`	`true`	Konfiguriert den Empfänger so, dass auch die unterstützten JVM-Messwerte erfasst werden.
`exclude_paths`	`[]`	Eine Liste von Dateisystempfadmustern, die aus dem mit `include_paths` übereinstimmenden Satz ausgeschlossen werden sollen.
`wildcard_refresh_interval`	`60s`	Das Intervall, in dem Platzhalterdateipfade in include_paths aktualisiert werden. Wird als Zeitintervall angegeben, das mit time.ParseDuration analysiert werden kann. Muss ein Vielfaches von 1s sein.

Was wird protokolliert?

Die logName-Logs der Logs hbase_system werden von den Empfänger-IDs abgeleitet, die in der Konfiguration angegeben sind. Detaillierte Felder in LogEntry sind:

Feld	Typ	Beschreibung
`timestamp`	String (`Timestamp`)	Zeitpunkt des Eingangs der Anfrage.
`jsonPayload.module`	String	Modul von HBase, von dem das Log stammt.
`jsonPayload.source`	String	Quelle, aus der das Log stammt.
`jsonPayload.message`	String	Lognachricht, einschließlich eines detaillierten Stacktrace, sofern angegeben.
`severity`	String (`LogSeverity`)	Ebene des Logeintrags (übersetzt).

Messwerterfassung konfigurieren

Um Messwerte aus HBase zu erfassen, müssen Sie einen Empfänger für HBase-Messwerte erstellen und dann eine Pipeline für den neuen Empfänger erstellen. Um einen Empfänger für Ihre HBase-Messwerte zu konfigurieren, geben Sie die folgenden Felder an:

Feld	Standard	Beschreibung
`type`		Dieser Wert muss `hbase` sein.
`endpoint`	`localhost:10101`	Die JMX-Dienst-URL oder der Host und Port, die zum Erstellen der Dienst-URL verwendet werden. Muss das Format `service:jmx:<protocol>:<sap>` oder `host:port` haben. Werte im Format `host:port` werden verwendet, um die Dienst-URL `service:jmx:rmi:///jndi/rmi://<host>:<port>/jmxrmi` zu erstellen.
`collect_jvm_metrics`	wahr	Konfiguriert den Empfänger so, dass auch die unterstützten JVM-Messwerte erfasst werden.
`username`		Der konfigurierte Nutzername, wenn JMX für eine erforderliche Authentifizierung konfiguriert ist.
`password`		Das konfigurierte Passwort, wenn JMX für eine erforderliche Authentifizierung konfiguriert ist.
`collection_interval`	`60s`	Ein Wert für time.Duration, wie z. B. `30s` oder `5m`.

Was wird überwacht?

Die folgende Tabelle enthält die Liste der Messwerte, die der Ops-Agent aus der HBase-Instanz erfasst.

Messwerttyp
Art, Typ Überwachte Ressourcen	Label
`workload.googleapis.com/hbase.master.region_server.count`
`GAUGE`, `INT64` gce_instance	`state`
`workload.googleapis.com/hbase.master.regions_in_transition.count`
`GAUGE`, `INT64` gce_instance
`workload.googleapis.com/hbase.master.regions_in_transition.oldest_age`
`GAUGE`, `INT64` gce_instance
`workload.googleapis.com/hbase.master.regions_in_transition.over_threshold`
`GAUGE`, `INT64` gce_instance
`workload.googleapis.com/hbase.region_server.active_handler.count`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.authentication.count`
`GAUGE`, `INT64` gce_instance	`state` `region_server`
`workload.googleapis.com/hbase.region_server.block_cache.operation.count`
`GAUGE`, `INT64` gce_instance	`state` `region_server`
`workload.googleapis.com/hbase.region_server.blocked_update.time`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.disk.store_file.count`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.disk.store_file.size`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.files.local`
`GAUGE`, `DOUBLE` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.gc.old_gen.time`
`CUMULATIVE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.gc.time`
`CUMULATIVE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.gc.young_gen.time`
`CUMULATIVE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.open_connection.count`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.append.latency.max`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.append.latency.mean`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.append.latency.median`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.append.latency.min`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.append.latency.p99`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.delete.latency.max`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.delete.latency.mean`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.delete.latency.median`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.delete.latency.min`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.delete.latency.p99`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.get.latency.max`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.get.latency.mean`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.get.latency.median`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.get.latency.min`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.get.latency.p99`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.increment.latency.max`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.increment.latency.mean`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.increment.latency.median`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.increment.latency.min`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.increment.latency.p99`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.put.latency.max`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.put.latency.mean`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.put.latency.median`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.put.latency.min`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.put.latency.p99`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.replay.latency.max`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.replay.latency.mean`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.replay.latency.median`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.replay.latency.min`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.replay.latency.p99`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operations.slow`
`GAUGE`, `INT64` gce_instance	`operation` `region_server`
`workload.googleapis.com/hbase.region_server.queue.length`
`GAUGE`, `INT64` gce_instance	`state` `region_server`
`workload.googleapis.com/hbase.region_server.queue.request.count`
`GAUGE`, `INT64` gce_instance	`state` `region_server`
`workload.googleapis.com/hbase.region_server.region.count`
`GAUGE`, `INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.request.count`
`GAUGE`, `INT64` gce_instance	`state` `region_server`
`workload.googleapis.com/hbase.region_server.write_ahead_log.count`
`GAUGE`, `INT64` gce_instance	`region_server`

Konfiguration prüfen

Mit dem Log-Explorer und dem Metrics Explorer können Sie prüfen, ob Sie den HBase-Empfänger richtig konfiguriert haben. Es kann ein bis zwei Minuten dauern, bis der Ops-Agent beginnt, Logs und Messwerte zu erfassen.

Um zu prüfen, ob die Logs aufgenommen wurden, rufen Sie den Log-Explorer auf. Führen Sie dann die folgende Abfrage aus, um die HBase-Logs aufzurufen:

resource.type="gce_instance"
logName=("projects/PROJECT_ID/logs/hbase_system")

Um zu prüfen, ob die Messwerte aufgenommen wurden, rufen Sie den Metrics Explorer auf und führen Sie die folgende Abfrage auf dem Tab MQL aus.

fetch gce_instance
| metric 'workload.googleapis.com/hbase.region_server.request.count'
| align rate(1m)
| every 1m

Nächste Schritte

Eine Anleitung zur Installation von Ops-Agent mit Ansible zum Konfigurieren einer Drittanbieteranwendung und zum Installieren eines Beispieldashboards finden Sie im Video Ops-Agent installieren, um Fehler in Drittanbieteranwendungen zu beheben.