Kafka 插件

Kafka 是一种分布式分区冗余型提交日志服务。如需了解详情,请访问 kafka.apache.org

发现

即使未配置 Kafka 插件,Monitoring 也能通过以下方式发现在 Google Cloud Platform 项目中运行的 Kafka 服务:

  • 搜索实例名称中是否包含 kafka
  • 检查是否通过防火墙规则开放了 9092 端口

发现的服务显示在“Kafka Services”页面上的 Resources 菜单中。您在实例上安装 Monitoring 代理并配置 Kafka 插件后,Monitoring 将在“Kafka Services”页面上填充相关资产和指标。

配置 Monitoring 以监控 Kafka

安装 Monitoring 代理后,请按照以下说明在您的实例上配置 Kafka 插件。如需了解如何从旧版 jmxtrans 监控功能升级,请转到从 jmxtrans 升级

前提条件

Kafka 插件需要版本 5.5.0-257 或更高版本的 Monitoring 代理。要更新代理,请参阅升级代理

启用 Kafka 监控插件

对 Kafka 的监控是通过 JMX 实现的。Monitoring 支持监控 Kafka 0.8.2 及更高版本。

在您的虚拟机实例上,从 GitHub 配置代码库下载 kafka-082.conf,并将其放置在 /opt/stackdriver/collectd/etc/collectd.d/ 目录中:

(cd /opt/stackdriver/collectd/etc/collectd.d/ && sudo curl -O https://raw.githubusercontent.com/Stackdriver/stackdriver-agent-service-configs/master/etc/collectd.d/kafka-082.conf)

下载的插件配置文件假定您的 Kafka 服务器配置为接受端口 9999 上的 JMX 连接。如果您以 root 身份使用其他 JMX 端口配置了 Kafka,请修改该文件并按照说明更改 JMX 端口设置。

添加配置文件后,运行以下命令以重启 Monitoring 代理:

sudo service stackdriver-agent restart

如需了解其他插件配置选项的信息,请参阅 collectd.org

监控的内容

Kafka 插件监控 Kafka 服务器/代理的以下指标:

  • 入站消息速率
  • 出入站字节速率
  • 请求速率
  • 日志清空速率
  • ISR 膨胀和收缩速率
  • 请求时间

Monitoring 还会监控以下基本 JVM 指标:

  • 活跃的 JVM 线程数
  • JVM 堆内存使用量
  • JVM 非堆内存使用量
  • JVM 打开的文件描述符数
  • JVM 垃圾收集次数

如需了解详情,请转到代理指标列表:Kafka代理指标列表:JVM

从 jmxtrans 升级

如果您当前使用旧版 jmxtrans 监控功能运行虚拟机,则需要对所有基于 Java 的插件进行升级,这些插件是 CassandraHBaseKafkaTomcat。在升级这些插件并重启 stackdriver-agent 服务之后,您可以关闭 jmxtrans 进程。然后,您可以通过移除 /mnt/jmxtrans 树和 /etc/init.d/jmxtrans 脚本(如果存在该脚本)来卸载 jmxtrans

此页内容是否有用?请给出您的反馈和评价:

发送以下问题的反馈:

此网页
Stackdriver Monitoring
需要帮助?请访问我们的支持页面