Kafka 插件

Kafka 是一种分布式分区冗余型提交日志服务。 如需了解详情,请访问 kafka.apache.org

发现

即使未配置 Kafka 插件,Cloud Monitoring 也能通过以下方式发现在 Google Cloud 项目中运行的 Kafka 服务:

  • 搜索实例名称中是否包含 kafka
  • 检查是否通过防火墙规则开放了 9092 端口

发现的服务显示在“Kafka Services”页面上的 Resources 菜单中。您在实例上安装 Monitoring 代理并配置 Kafka 插件后,Monitoring 将在“Kafka Services”页面上填充相关资产和指标。

配置 Monitoring 以监控 Kafka

安装 Monitoring 代理后,请按照以下说明在您的实例上配置 Kafka 插件。

前提条件

Kafka 插件需要版本 5.5.0-257 或更高版本的 Monitoring 代理。要更新代理,请参阅升级代理

启用 Kafka 监控插件

对 Kafka 的监控是通过 JMX 实现的。Monitoring 支持监控 Kafka 0.8.2 及更高版本。

在您的虚拟机实例上,从 GitHub 配置代码库下载 kafka-082.conf,并将其放置在 /opt/stackdriver/collectd/etc/collectd.d/ 目录中:

(cd /opt/stackdriver/collectd/etc/collectd.d/ && sudo curl -O https://raw.githubusercontent.com/Stackdriver/stackdriver-agent-service-configs/master/etc/collectd.d/kafka-082.conf)

下载的插件配置文件假定您的 Kafka 服务器配置为接受端口 9999 上的 JMX 连接。如果您以 root 身份使用其他 JMX 端口配置了 Kafka,请修改该文件并按照说明更改 JMX 端口设置。

添加配置文件后,运行以下命令以重启 Monitoring 代理:

sudo service stackdriver-agent restart

如需详细了解用于监控 Kafka 的 collectd GenericJMX 插件,请参阅 Plugin:GenericJMX

监控的内容

如需获取 Kafka 插件监控的指标的完整列表,请参阅代理指标:kafka代理指标:jvm