Plug-in Kafka

O Kafka é um serviço de registro de commit distribuído, particionado e replicado. Para mais informações, acesse kafka.apache.org.

Descoberta

Mesmo que o plug-in Kafka não esteja configurado, o Stackdriver Monitoring descobre os serviços do Kafka em execução no seu projeto do Google Cloud Platform por meio de:

  • pesquisas com o termo kafka em nomes de instâncias;
  • verificação de portas abertas para 9092 usando regras de firewall.

Os serviços descobertos são exibidos na página Serviços do Kafka no menu Recursos. Depois que você instala o agente do Monitoring e configura o plug-in Kafka em suas instâncias, o Monitoring preenche a página Serviços do Kafka com o inventário e as métricas.

Como configurar o Monitoring para acompanhar o Kafka

Depois que você instalar o agente do Monitoring, use as instruções a seguir para configurar o plug-in Kafka em suas instâncias. Para ver instruções sobre como fazer upgrade do monitoramento jmxtrans legado, acesse Como fazer upgrade a partir do jmxtrans.

Pré-requisitos

O plug-in Kafka requer a versão 5.5.0-257 ou posterior do agente do Monitoring. Para atualizá-lo, consulte Como atualizar o agente.

Ativar o plug-in de monitoramento do Kafka

O Kafka é monitorado por meio do JMX. O Monitoring é compatível com o monitoramento da versão 0.8.2 e superior do Kafka.

Na instância da VM, faça o download do kafka-082.conf no repositório de configurações do GitHub e coloque-o no diretório /opt/stackdriver/collectd/etc/collectd.d/:

(cd /opt/stackdriver/collectd/etc/collectd.d/ && sudo curl -O https://raw.githubusercontent.com/Stackdriver/stackdriver-agent-service-configs/master/etc/collectd.d/kafka-082.conf)

O arquivo de configuração do plug-in transferido por download interpreta que o servidor Kafka está configurado para aceitar conexões JMX na porta 9999. Se você configurou o Kafka com uma porta JMX diferente, como raiz, edite o arquivo e siga as instruções para alterar as configurações da porta JMX.

Depois de adicionar o arquivo de configuração, reinicie o agente do monitoramento executando o seguinte comando:

sudo service stackdriver-agent restart

Para saber mais informações sobre outras opções de configuração de plug-ins, acesse collectd.org.

O que é monitorado?

O plug-in Kafka monitora as seguintes métricas para servidor/agente do Kafka:

  • taxa de entrada de mensagens
  • taxa de entrada/saída de bytes
  • taxa de solicitação
  • taxa de limpeza de registro
  • taxa de redução e expansão de ISR
  • tempos de solicitação

O Monitoring também acompanha as seguintes métricas básicas do JVM:

  • threads do JVM ativos
  • uso de memória da pilha do JVM
  • uso de memória sem pilha do JVM
  • descritores de arquivo aberto do JVM
  • contagem de coleta de lixo do JVM

Para mais detalhes, acesse a lista de métricas do agente: Kafka e a lista de métricas do agente: JVM.

Como fazer upgrade a partir do jmxtrans

Se você estiver executando uma VM com o monitoramento do jmxtrans legado, faça o upgrade de todos os plug-ins baseados em Java, ou seja, Cassandra, HBase, Kafka ou Tomcat. Depois de fazer upgrade desses plug-ins e reiniciar o serviço stackdriver-agent, é possível finalizar o processo jmxtrans. Assim, será possível desinstalar jmxtrans removendo a árvore /mnt/jmxtrans e o script /etc/init.d/jmxtrans, se ele estiver presente.

Esta página foi útil? Conte sua opinião sobre:

Enviar comentários sobre…

Stackdriver Monitoring
Precisa de ajuda? Acesse nossa página de suporte.