Apache HBase

Apache HBase 集成会从 master 和区域服务器收集集群指标。区域服务器指标与存储空间以及请求和延迟时间相关。该集成还会收集 master 和区域服务器日志，并将其解析为 JSON 载荷。结果将包含来源、级别和消息字段。

如需详细了解 HBase，请参阅 Apache HBase 文档。

前提条件

如需收集 HBase 遥测数据，您必须安装 Ops Agent：

对于指标，请安装 2.11.0 版或更高版本。
对于日志，请安装 2.11.0 版或更高版本。

此集成支持 HBase 1.7.x、2.3.x 和 2.4.x 版。

配置 HBase 实例

如需公开 JMX 端点，您必须在启动 JVM 时设置 com.sun.management.jmxremote.port 系统属性。我们还建议您将 com.sun.management.jmxremote.rmi.port 系统属性设置为同一端口。如需远程公开 JMX 端点，您还必须设置 java.rmi.server.hostname 系统属性。

默认情况下，这些属性在 HBase 部署的 hbase-env.sh 文件中设置。

如需使用命令行参数设置系统属性，请在启动 JVM 时在属性名称前加上 -D。例如，如需将 com.sun.management.jmxremote.port 设置为端口 10101，请在启动 JVM 时指定以下内容：

-Dcom.sun.management.jmxremote.port=10101

为 HBase 配置 Ops Agent

按照配置 Ops Agent 指南，添加从 HBase 实例收集遥测数据所需的元素并重启代理。

配置示例

以下命令会创建相关配置来收集和注入 HBase 的遥测数据，并重启 Ops Agent。

# Configures Ops Agent to collect telemetry from the app and restart Ops Agent.

set -e

# Create a back up of the existing file so existing configurations are not lost.
sudo cp /etc/google-cloud-ops-agent/config.yaml /etc/google-cloud-ops-agent/config.yaml.bak

# Configure the Ops Agent.
sudo tee /etc/google-cloud-ops-agent/config.yaml > /dev/null << EOF
metrics:
  receivers:
    hbase:
      type: hbase
      endpoint: service:jmx:rmi:///jndi/rmi://127.0.0.1:10101/jmxrmi
  service:
    pipelines:
      hbase:
        receivers:
          - hbase
logging:
  receivers:
    hbase_system:
      type: hbase_system
  service:
    pipelines:
      hbase_system:
        receivers:
          - hbase_system
EOF

sudo service google-cloud-ops-agent restart

配置日志收集

如需从 HBase 注入日志，您必须为 HBase 生成的日志创建接收器，然后为新的接收器创建流水线。

如需为 hbase_system 日志配置接收器，请指定以下字段：

字段	默认	说明
`exclude_paths`		要从 `include_paths` 匹配的集合中排除的文件系统路径模式列表。
`include_paths`	`[/opt/hbase/logs/hbase--regionserver-.log, /opt/hbase/logs/hbase--master-.log]`	要通过跟踪每个文件读取的文件系统路径列表。路径中可以使用通配符 (``)；例如 `/var/log/hbase/*.log`。
`record_log_file_path`	`false`	如果设置为 `true`，则从中获取日志记录的特定文件的路径将作为 `agent.googleapis.com/log_file_path` 标签的值显示在输出日志条目中。使用通配符时，系统只会记录从中获取记录的文件的路径。
`type`		该值必须为 `hbase_system`。
`wildcard_refresh_interval`	`60s`	include_paths 中通配符文件路径的刷新间隔。指定为可由 time.ParseDuration 解析的时长，例如 `30s` 或 `2m`。该属性在高日志记录吞吐量下可能很有用，因为日志文件的轮替速度快于默认时间间隔。

记录的内容

logName 派生自配置中指定的接收器 ID。LogEntry 中的详细字段如下所示。

hbase_system 日志包含 LogEntry 中的以下字段：

字段	类型	说明
`jsonPayload.level`	字符串	日志条目级别
`jsonPayload.message`	字符串	日志消息，包括详细的堆栈轨迹（如果提供）
`jsonPayload.module`	字符串	日志源自的 hbase 模块。
`jsonPayload.source`	字符串	日志的来源
`severity`	字符串 (`LogSeverity`)	日志条目级别（已转换）。

配置指标收集

如需从 HBase 注入指标，您必须为 HBase 生成的指标创建接收器，然后为新的接收器创建流水线。

如需为 hbase 指标配置接收器，请指定以下字段：

字段	默认	说明
`collect_jvm_metrics`	`true`	配置接收器以同时收集支持的 JVM 指标。
`collection_interval`	`60s`	时长值，例如 `30s` 或 `5m`。
`endpoint`	`localhost:10101`	JMX 服务网址或用于构造服务网址的主机和端口。此值必须采用 `service:jmx:<protocol>:<sap>` 或 `host:port` 格式。host:port 表单中的值用于创建服务网址 `service:jmx:rmi:///jndi/rmi://<host>:<port>/jmxrmi`。
`password`		将 JMX 配置为需要身份验证时配置的密码。
`type`		该值必须为 `hbase`。
`username`		将 JMX 配置为需要身份验证时配置的用户名。

监控的内容

下表提供了 Ops Agent 从 HBase 实例收集的指标列表。

指标类型
种类、类型受监控的资源	标签
`workload.googleapis.com/hbase.master.region_server.count`
`GAUGE`、`INT64` gce_instance	`state`
`workload.googleapis.com/hbase.master.regions_in_transition.count`
`GAUGE`、`INT64` gce_instance
`workload.googleapis.com/hbase.master.regions_in_transition.oldest_age`
`GAUGE`、`INT64` gce_instance
`workload.googleapis.com/hbase.master.regions_in_transition.over_threshold`
`GAUGE`、`INT64` gce_instance
`workload.googleapis.com/hbase.region_server.active_handler.count`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.authentication.count`
`GAUGE`、`INT64` gce_instance	`region_server` `state`
`workload.googleapis.com/hbase.region_server.block_cache.operation.count`
`GAUGE`、`INT64` gce_instance	`region_server` `state`
`workload.googleapis.com/hbase.region_server.blocked_update.time`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.disk.store_file.count`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.disk.store_file.size`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.files.local`
`GAUGE`、`DOUBLE` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.gc.old_gen.time`
`CUMULATIVE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.gc.time`
`CUMULATIVE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.gc.young_gen.time`
`CUMULATIVE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.open_connection.count`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.append.latency.max`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.append.latency.mean`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.append.latency.median`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.append.latency.min`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.append.latency.p99`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.delete.latency.max`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.delete.latency.mean`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.delete.latency.median`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.delete.latency.min`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.delete.latency.p99`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.get.latency.max`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.get.latency.mean`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.get.latency.median`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.get.latency.min`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.get.latency.p99`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.increment.latency.max`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.increment.latency.mean`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.increment.latency.median`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.increment.latency.min`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.increment.latency.p99`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.put.latency.max`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.put.latency.mean`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.put.latency.median`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.put.latency.min`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.put.latency.p99`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.replay.latency.max`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.replay.latency.mean`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.replay.latency.median`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.replay.latency.min`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operation.replay.latency.p99`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.operations.slow`
`GAUGE`、`INT64` gce_instance	`operation` `region_server`
`workload.googleapis.com/hbase.region_server.queue.length`
`GAUGE`、`INT64` gce_instance	`region_server` `state`
`workload.googleapis.com/hbase.region_server.queue.request.count`
`GAUGE`、`INT64` gce_instance	`region_server` `state`
`workload.googleapis.com/hbase.region_server.region.count`
`GAUGE`、`INT64` gce_instance	`region_server`
`workload.googleapis.com/hbase.region_server.request.count`
`GAUGE`、`INT64` gce_instance	`region_server` `state`
`workload.googleapis.com/hbase.region_server.write_ahead_log.count`
`GAUGE`、`INT64` gce_instance	`region_server`

示例信息中心

如需查看 HBase 指标，您必须配置一个图表或信息中心。Cloud Monitoring 提供了一个用于集成的示例信息中心库，其中包含一些预配置的图表。如需了解如何安装这些信息中心，请参阅安装示例信息中心。

验证配置

本部分介绍如何验证已正确配置了 HBase 接收器。Ops Agent 可能需要一两分钟才会开始收集遥测数据。

如需验证日志已注入，请前往日志浏览器并运行以下查询来查看 HBase 日志：

resource.type="gce_instance"
log_id("hbase_system")

如需验证指标已注入，请前往 Metrics Explorer 并在 MQL 标签页中运行以下查询：

fetch gce_instance
| metric 'workload.googleapis.com/hbase.region_server.operation.append.latency.p99'
| every 1m

后续步骤

如需查看如何使用 Ansible 安装 Ops Agent、配置第三方应用和安装示例信息中心的演示，请参阅安装 Ops Agent 以排查第三方应用的问题视频。