Kafka 外掛程式

Kafka 是一項分散式、分區、複製修訂版本記錄服務。詳情請造訪 kafka.apache.org

探索

即使並未設定 Kafka 外掛程式,Stackdriver Monitoring 也會透過以下方式探索在 Google Cloud Platform 專案中執行的 Kafka 服務:

  • 在執行個體名稱中搜尋 kafka
  • 檢查透過防火牆規則向 9092 開啟的通訊埠

探索到的服務會顯示在 Kafka「Services」頁面的「Resources」選單中。在執行個體上安裝 Monitoring 代理程式並設定 Kafka 外掛程式後,Monitoring 會在 Kafka「Services」頁面中填入儲存庫與指標。

設定讓 Monitoring 監控 Kafka

安裝 Monitoring 代理程式後,請按照下列操作說明對您的執行個體設定 Kafka 外掛程式。如需從舊版 jmxtrans 監控代理程式升級的操作說明,請參閱從 jmxtrans 升級一文。

必備條件

Kafka 外掛程式需要 5.5.0-257 版或更新版本的 Monitoring 代理程式。如要更新代理程式,請參閱升級代理程式一文。

啟用 Kafka 監控外掛程式

您可以透過 JMX 監控 Kafka。Monitoring 支援監控 Kafka 0.8.2 版及更新版本。

在您的 VM 執行個體上,從 GitHub 設定存放區 下載 kafka-082.conf,並放進 /opt/stackdriver/collectd/etc/collectd.d/ 目錄中:

(cd /opt/stackdriver/collectd/etc/collectd.d/ && curl -O https://raw.githubusercontent.com/Stackdriver/stackdriver-agent-service-configs/master/etc/collectd.d/kafka-082.conf)

下載的外掛程式設定檔會假設您的 Kafka 伺服器設定為接受 9999 通訊埠的 JMX 連線。如果您為 Kafka 設定其他 JMX 通訊埠,請編輯檔案,並按照操作說明變更 JMX 通訊埠設定。

新增設定檔之後,執行下列指令來重新啟動 Monitoring 代理程式:

sudo service stackdriver-agent restart

您可在 collectd.org 找到其他外掛程式設定選項的相關資訊。

監控的內容

Kafka 外掛程式會監控 Kafka 伺服器/代理程式的下列指標:

  • 訊息傳入速率
  • 位元組傳入/傳出速率
  • 要求比率
  • 記錄清除速率
  • ISR 擴大與收縮速率
  • 要求時間

Monitoring 也會監控下列基本 JVM 指標:

  • 有效的 JVM 執行緒數
  • JVM 堆積記憶體使用量
  • JVM 非堆積記憶體使用量
  • JVM 開啟檔案描述元數
  • JVM 垃圾收集計數

詳情請參閱代理程式指標清單:Kafka代理程式指標清單:JVM

從 jmxtrans 升級

如果您目前使用舊版的 jmxtrans 監控代理程式搭配 VM,則必須升級所有的 Java 外掛程式,包括 CassandraHBaseKafkaTomcat。在您升級這些外掛程式並重新啟動 stackdriver-agent 服務後,便可關閉 jmxtrans 程序。然後您可以移除 /mnt/jmxtrans 樹狀結構與 /etc/init.d/jmxtrans 指令碼 (如果指令碼存在) 以解除安裝 jmxtrans

本頁內容對您是否有任何幫助?請提供意見:

傳送您對下列選項的寶貴意見...

這個網頁
Stackdriver Monitoring
需要協助嗎?請前往我們的支援網頁