Kafka-Plug-in

Kafka ist ein verteilter, partitionierter, replizierter Commit-Log-Dienst. Weitere Informationen erhalten Sie unter kafka.apache.org.

Erkennung

Selbst wenn das Kafka-Plug-in nicht konfiguriert wurde, erkennt Cloud Monitoring in Ihrem Google Cloud-Projekt ausgeführte Kafka-Dienste so:

  • Anhand der Angabe kafka in Instanznamen
  • Anhand von Ports, die über Firewallregeln für 9092 geöffnet sind

Die erkannten Dienste werden auf der Seite mit den Kafka-Diensten im Menü Ressourcen aufgeführt. Nachdem Sie den Monitoring-Agent installiert und das Kafka-Plug-in auf Ihren Instanzen konfiguriert haben, füllt Monitoring die Seite mit den Kafka-Diensten mit Inventar und Messwerten.

Monitoring für Kafka konfigurieren

Nach der Installation des Monitoring-Agents können Sie mithilfe dieser Anleitung das Kafka-Plug-in auf Ihren Instanzen konfigurieren.

Voraussetzungen

Für das Kafka-Plug-in ist Version 5.5.0-257 oder höher des Monitoring-Agents erforderlich. Informationen zum Aktualisieren des Agents finden Sie unter Upgrade des Agents ausführen.

Kafka-Monitoring-Plug-in aktivieren

Kafka wird über JMX überwacht. Monitoring unterstützt für das Monitoring die Kafka-Version 0.8.2 und höher.

Laden Sie auf Ihrer VM-Instanz die Datei kafka-082.conf aus dem GitHub-Konfigurations-Repository herunter und speichern Sie sie im Verzeichnis /opt/stackdriver/collectd/etc/collectd.d/:

(cd /opt/stackdriver/collectd/etc/collectd.d/ && sudo curl -O https://raw.githubusercontent.com/Stackdriver/stackdriver-agent-service-configs/master/etc/collectd.d/kafka-082.conf)

Für die heruntergeladene Plug-in-Konfigurationsdatei muss der Kafka-Server JMX-Verbindungen über Port 9999 akzeptieren. Wenn Sie Kafka mit einem anderen JMX-Port konfiguriert haben, ändern Sie als Root die Datei und folgen Sie der Anleitung zum Ändern der JMX-Porteinstellungen.

Nachdem Sie die Konfigurationsdatei hinzugefügt haben, starten Sie den Monitoring-Agent mit dem folgenden Befehl neu:

sudo service stackdriver-agent restart

Weitere Informationen zum Plug-in collectd GenericJMX zum Überwachen von Kafka finden Sie unter Plugin:GenericJMX.

Was wird überwacht

Die vollständigen Listen der Messwerte, die vom Kafka-Plug-in überwacht werden, finden Sie unter Agent-Messwerte: kafka und Agent-Messwerte: jvm.