Apache Kafka

A integração do Apache Kafka coleta métricas do agente, como solicitações de tópico e falhas. Ele também monitora as partições no agente. A integração coleta registros do Kafka e os analisa em um payload JSON. O resultado inclui campos para logger, nível e mensagem.

Para mais informações sobre o Kafka, consulte a documentação do Apache Kafka.

Pré-requisitos

Para coletar a telemetria do Kafka, instale o Agente de operações:

Para métricas, instale a versão 2.10.0 ou mais recente.
Para registros, instale a versão 2.10.0 ou mais recente.

Essa integração é compatível com as versões 0.8 a 3.0.0 do Kafka.

Configurar a instância do Kafka

Para expor um endpoint JMX, você precisa definir a propriedade do sistema com.sun.management.jmxremote.port ao iniciar a JVM. Também recomendamos configurar a propriedade do sistema com.sun.management.jmxremote.rmi.port para a mesma porta. Para expor um endpoint JMX remotamente, você também precisa definir a propriedade do sistema java.rmi.server.hostname.

Por padrão, essas propriedades são definidas em um arquivo bin/kafka-run-class.sh da implantação do Kafka.

Para definir as propriedades do sistema usando argumentos de linha de comando, adicione -D ao nome da propriedade ao iniciar a JVM. Por exemplo, para definir com.sun.management.jmxremote.port na porta 9999, especifique o seguinte ao iniciar a JVM:

-Dcom.sun.management.jmxremote.port=9999

Configure o agente de operações para o Kafka

Seguindo o guia de Como configurar o Agente de operações, adicione os elementos necessários para coletar a telemetria de instâncias do Kafka e reinicie o agente.

Exemplo de configuração

O comando a seguir cria a configuração para coletar e ingerir a telemetria para o Kafka e reinicia o Agente de operações.

# Configures Ops Agent to collect telemetry from the app and restart Ops Agent.

set -e

# Create a back up of the existing file so existing configurations are not lost.
sudo cp /etc/google-cloud-ops-agent/config.yaml /etc/google-cloud-ops-agent/config.yaml.bak

# Configure the Ops Agent.
sudo tee /etc/google-cloud-ops-agent/config.yaml > /dev/null << EOF
metrics:
  receivers:
    kafka:
      type: kafka
  service:
    pipelines:
      kafka:
        receivers:
          - kafka
logging:
  receivers:
    kafka:
      type: kafka
  service:
    pipelines:
      kafka:
        receivers:
          - kafka
EOF

sudo service google-cloud-ops-agent restart

Configurar a coleta de registros

Para ingerir registros do Kafka, é preciso criar receptores para os registros que o Kafka produz e criar um pipeline para os novos receptores.

kafkaPara configurar um receptor para os registros , especifique os seguintes campos:

Campo	Padrão	Descrição
`exclude_paths`		Uma lista de padrões de caminho do sistema de arquivos a serem excluídos do conjunto correspondente a `include_paths`.
`include_paths`	`[/var/log/kafka/*.log]`	Uma lista de caminhos do sistema de arquivos a serem lidos acompanhando cada arquivo. Um caractere curinga `` pode ser usado nos caminhos, por exemplo, `/var/log/kafka/*.log`.
`record_log_file_path`	`false`	Se definido como `true`, o caminho para o arquivo específico de que a gravação de registro foi recebida aparecerá na entrada de registro de saída como o valor do rótulo `agent.googleapis.com/log_file_path`. Ao usar um caractere curinga, apenas o caminho do arquivo de que o registro foi recebido é gravado.
`type`		Este valor precisa ser `kafka`.
`wildcard_refresh_interval`	`60s`	O intervalo em que os caminhos de arquivos curinga no `include_paths` são atualizados. Considerado uma duração analisável por time.ParseDuration, por exemplo, `30s` ou `2m`. Essa propriedade pode ser útil com capacidades de registro altas em que os arquivos de registro são alternados mais rapidamente do que o intervalo padrão.

O que é registrado

O logName é derivado dos IDs do receptor especificados na configuração. Os campos detalhados dentro de LogEntry são os seguintes.

Os registros kafka contêm os seguintes campos no LogEntry:

Campo	Tipo	Descrição
`jsonPayload.level`	string (`LogSeverity`)	Nível de entrada de registro
`jsonPayload.logger`	string (`Timestamp`)	Nome do logger em que o registro foi originado.
`jsonPayload.message`	string	Mensagem de registro, incluindo stacktrace detalhado, quando fornecido
`jsonPayload.source`	string	Módulo e/ou linha de execução em que o registro foi originado.
`severity`	string	Nível de entrada de registro (traduzido).
`timestamp`	string	Hora em que a solicitação foi recebida.

Configurar a coleta de métricas

Para ingerir métricas do Kafka, crie um receptor para as métricas produzidas pelo Kafka e, em seguida, crie um pipeline para o novo receptor.

Esse receptor não aceita o uso de várias instâncias na configuração, por exemplo, para monitorar vários endpoints. Todas essas instâncias gravam na mesma série temporal, e o Cloud Monitoring não tem como diferenciá-las.

Para configurar um receptor para suas métricas do kafka, especifique os campos a seguir:

Campo	Padrão	Descrição
`stub_status_url`	`localhost:9999`	O URL do serviço JMX ou o host e a porta usados para criar o URL do serviço. Precisa estar na forma de `service:jmx:<protocol>:<sap>` ou `host:port`. Os valores no formulário `host:port` serão usados para criar um URL de serviço de `service:jmx:rmi:///jndi/rmi://<host>:<port>/jmxrmi`.
`collect_jvm_metrics`	`true`	Configura o receptor para coletar as métricas do JVM compatíveis.
`collection_interval`	`60s`	Um valor de time.Duration, como `30s` ou `5m`.
`password`		Senha configurada se o JMX estiver configurado para exigir autenticação.
`stub_status_url`	`localhost:9999`	O URL do serviço JMX ou o host e a porta usados para criar o URL do serviço. Esse valor precisa estar no formato service:jmx: ou host:port. Os valores no formato host:port são usados para criar um URL de serviço de service:jmx:rmi:///jndi/rmi://:/jmxrmi.
`type`		Este valor precisa ser `kafka`.
`username`		O nome de usuário configurado se o JMX estiver configurado para exigir autenticação.

O que é monitorado?

A tabela a seguir fornece a lista de métricas que o agente de operações coleta da instância do Kafka.

Tipo de métrica
Tipo, tipo Recursos monitorados	Rótulos
`workload.googleapis.com/kafka.isr.operation.count`
`CUMULATIVE`, `INT64` gce_instance	`operation`
`workload.googleapis.com/kafka.message.count`
`CUMULATIVE`, `INT64` gce_instance
`workload.googleapis.com/kafka.network.io`
`CUMULATIVE`, `INT64` gce_instance	`state`
`workload.googleapis.com/kafka.partition.count`
`GAUGE`, `INT64` gce_instance
`workload.googleapis.com/kafka.partition.offline`
`GAUGE`, `INT64` gce_instance
`workload.googleapis.com/kafka.partition.under_replicated`
`GAUGE`, `INT64` gce_instance
`workload.googleapis.com/kafka.purgatory.size`
`GAUGE`, `INT64` gce_instance	`type`
`workload.googleapis.com/kafka.request.count`
`CUMULATIVE`, `INT64` gce_instance	`type`
`workload.googleapis.com/kafka.request.failed`
`CUMULATIVE`, `INT64` gce_instance	`type`
`workload.googleapis.com/kafka.request.time.total`
`CUMULATIVE`, `INT64` gce_instance	`type`

Verificar a configuração

Nesta seção, descrevemos como verificar se você configurou corretamente o receptor do Kafka. Pode levar um ou dois minutos para que o agente de operações comece a coletar telemetria.

Para verificar se os registros do Kafka estão sendo enviados para o Cloud Logging, faça o seguinte:

No painel de navegação do console do Google Cloud, selecione Logging e, depois, Explorador de registros:
Acessar o Explorador de registros
Digite a consulta a seguir no Editor e clique em Executar consulta:
```
resource.type="gce_instance"
log_id("kafka")
```

Para verificar se as métricas do Kafka estão sendo enviadas para o Cloud Monitoring, faça o seguinte:

No painel de navegação do console do Google Cloud, selecione Monitoramento e Metrics Explorer:
Acesse o Metrics explorer
Na barra de ferramentas do painel do criador de consultas, selecione o botão MQL ou PromQL.
Verifique se MQL está selecionado na opção de ativar/desativar Idioma. A alternância de idiomas está na mesma barra de ferramentas que permite formatar sua consulta.

Digite a consulta a seguir no Editor e clique em Executar consulta:

fetch gce_instance
| metric 'workload.googleapis.com/kafka.message.count'
| every 1m

Ver painel

Para visualizar as métricas do Kafka, é necessário ter um gráfico ou um painel configurado. A integração do Kafka inclui um ou mais painéis para você. Todos os painéis são instalados automaticamente depois que você configura a integração e o Agente de operações começa a coletar dados de métricas.

Também é possível ver visualizações estáticas de painéis sem instalar a integração.

Para ver um painel instalado, faça o seguinte:

No painel de navegação do console do Google Cloud, selecione Monitoramento e Painéis:
Ir para Painéis
Selecione a guia Lista de painéis e escolha a categoria Integrações.
Clique no nome do painel que você quer visualizar.

Se você configurou uma integração, mas o painel não foi instalado, verifique se o agente de operações está em execução. Quando não há dados de métricas para um gráfico no painel, a instalação do painel falha. Depois que o Agente de operações começar a coletar métricas, o painel será instalado para você.

Para acessar uma visualização estática do painel, faça o seguinte:

No painel de navegação do console do Google Cloud, selecione Monitoramento e Integrações:
Acessar Integrações
Clique no filtro de plataforma de implantação do Compute Engine.
Localize a entrada do Kafka e clique em Ver detalhes.
Selecione a guia Painéis para uma visualização estática. Se o painel estiver instalado, navegue até ele clicando em Ver painel.

Para mais informações sobre painéis no Cloud Monitoring, consulte Painéis e gráficos.

Para mais informações sobre como usar a página Integrações, consulte Gerenciar integrações.

Instalar políticas de alertas

As políticas de alertas orientam o Cloud Monitoring a notificar você quando ocorrerem condições especificadas. A integração do Kafka inclui uma ou mais políticas de alertas para você usar. É possível ver e instalar essas políticas de alertas na página Integrações no Monitoring.

Para visualizar e descrever as descrições de políticas de alertas disponíveis, faça o seguinte:

No painel de navegação do console do Google Cloud, selecione Monitoramento e Integrações:
Acessar Integrações
Localize a entrada do Kafka e clique em Ver detalhes.
Selecione a guia Alertas. Essa guia apresenta descrições das políticas de alertas disponíveis e mostra uma interface para instalá-las.
Instalar políticas de alertas. As políticas de alertas precisam saber para onde enviar as notificações de que o alerta foi acionado. Portanto, elas exigem informações para instalação. Para instalar políticas de alertas, faça o seguinte:
1. Na lista de políticas de alertas disponíveis, selecione aquelas que você quer instalar.
2. Na seção Configurar notificações, selecione um ou mais canais de notificação. Você pode desativar o uso dos canais de notificação, mas, se isso acontecer, as políticas de alertas vão ser disparadas silenciosamente. É possível verificar o status no Monitoring, mas não receber notificações.
  
  Para saber mais sobre canais de notificação, consulte Gerenciar canais de notificação.
3. Clique em Criar políticas.

Para mais informações sobre políticas de alertas no Cloud Monitoring, consulte Introdução a alertas.

Para mais informações sobre como usar a página Integrações, consulte Gerenciar integrações.

A seguir

Para ver um tutorial sobre como usar o Ansible para instalar o agente de operações, configurar um aplicativo de terceiros e instalar um painel de amostra, consulte o vídeo Instalação do agente de operações para resolver problemas de aplicativos de terceiros.