Apache ZooKeeper

A integração do Apache ZooKeeper recolhe métricas de tráfego para nós, como latência, pedidos ativos e ligações ativas. A integração também recolhe registos do ZooKeeper e analisa-os num payload JSON. O resultado inclui campos para o ID do nó, a origem, o nível e a mensagem.

Para mais informações sobre o ZooKeeper, consulte a documentação do Apache ZooKeeper.

Pré-requisitos

Para recolher telemetria do ZooKeeper, tem de instalar o agente de operações:

  • Para métricas, instale a versão 2.10.0 ou superior.
  • Para registos, instale a versão 2.11.0 ou superior.

Esta integração suporta as versões 3.5, 3.6 e 3.7 do ZooKeeper.

Configure o agente de operações para o ZooKeeper

Seguindo o guia para configurar o Ops Agent, adicione os elementos necessários para recolher telemetria de instâncias do ZooKeeper e reinicie o agente.

Exemplo de configuração

Os seguintes comandos criam a configuração para recolher e carregar telemetria para o ZooKeeper:

# Configures Ops Agent to collect telemetry from the app. You must restart the agent for the configuration to take effect.

set -e

# Check if the file exists
if [ ! -f /etc/google-cloud-ops-agent/config.yaml ]; then
  # Create the file if it doesn't exist.
  sudo mkdir -p /etc/google-cloud-ops-agent
  sudo touch /etc/google-cloud-ops-agent/config.yaml
fi

# Create a back up of the existing file so existing configurations are not lost.
sudo cp /etc/google-cloud-ops-agent/config.yaml /etc/google-cloud-ops-agent/config.yaml.bak

# Configure the Ops Agent.
sudo tee /etc/google-cloud-ops-agent/config.yaml > /dev/null << EOF
metrics:
  receivers:
    zookeeper:
      type: zookeeper
  service:
    pipelines:
      zookeeper:
        receivers:
          - zookeeper

logging:
  receivers:
    zookeeper_general:
      type: zookeeper_general
  service:
    pipelines:
      zookeeper_general:
        receivers:
          - zookeeper_general

EOF

Para que estas alterações entrem em vigor, tem de reiniciar o agente de operações:

Linux

  1. Para reiniciar o agente, execute o seguinte comando na sua instância: 
    sudo systemctl restart google-cloud-ops-agent
  2. Para confirmar que o agente foi reiniciado, execute o seguinte comando e verifique se os componentes "Agente de métricas" e "Agente de registo" foram iniciados: 
    sudo systemctl status "google-cloud-ops-agent*"

Windows

  1. Estabeleça ligação à sua instância através do RDP ou de uma ferramenta semelhante e inicie sessão no Windows.
  2. Abra um terminal do PowerShell com privilégios de administrador: clique com o botão direito do rato no ícone do PowerShell e selecione Executar como administrador
  3. Para reiniciar o agente, execute o seguinte comando do PowerShell: 
    Restart-Service google-cloud-ops-agent -Force
  4. Para confirmar que o agente foi reiniciado, execute o seguinte comando e verifique se os componentes "Agente de métricas" e "Agente de registo" foram iniciados: 
    Get-Service google-cloud-ops-agent*

Configure a recolha de registos

Para carregar registos do ZooKeeper, tem de criar um recetor para os registos que o ZooKeeper produz e, em seguida, criar um pipeline para o novo recetor.

Para configurar um recetor para os seus registos zookeeper_general, especifique os seguintes campos:

Campo Predefinição Descrição
exclude_paths Uma lista de padrões de caminhos do sistema de ficheiros a excluir do conjunto correspondente a include_paths.
include_paths [/opt/zookeeper/logs/zookeeper-*.out, /var/log/zookeeper/zookeeper.log] Uma lista de caminhos do sistema de ficheiros a ler através da análise detalhada de cada ficheiro. Pode usar um caráter universal (*) nos caminhos; por exemplo, /var/log/zookeeper*/*.log.
record_log_file_path false Se estiver definido como true, o caminho para o ficheiro específico a partir do qual o registo de registo foi obtido aparece na entrada de registo de saída como o valor da etiqueta agent.googleapis.com/log_file_path. Quando usa um caráter universal, apenas é registado o caminho do ficheiro a partir do qual o registo foi obtido.
type O valor tem de ser zookeeper_general.
wildcard_refresh_interval 60s O intervalo no qual os caminhos de ficheiros com carateres universais em include_paths são atualizados. Indicado como uma duração, por exemplo, 30s ou 2m. Esta propriedade pode ser útil em débitos de registo elevados, em que os ficheiros de registo são rodados mais rapidamente do que o intervalo predefinido.

O que é registado

O logName é derivado dos IDs dos recetores especificados na configuração. Os campos detalhados no interior de LogEntry são os seguintes.

Os registos zookeeper_general contêm os seguintes campos em LogEntry:

Campo Tipo Descrição
jsonPayload.level de string Nível de entrada do registo
jsonPayload.line número Número da linha a partir da qual o registo foi gerado na origem
jsonPayload.message de string Mensagem de registo, incluindo o rastreio de pilha detalhado, quando disponível
jsonPayload.myid número ID numérico da instância do Zookeeper
jsonPayload.source de string Origem do registo
jsonPayload.thread de string Discussão que originou o registo
severity string (LogSeverity) Nível de entrada de registo (traduzido).

Configure a recolha de métricas

Para carregar métricas do ZooKeeper, tem de criar um recetor para as métricas que o ZooKeeper produz e, em seguida, criar um pipeline para o novo recetor.

Este recetor não suporta a utilização de várias instâncias na configuração, por exemplo, para monitorizar vários pontos finais. Todas essas instâncias escrevem na mesma série cronológica e o Cloud Monitoring não tem forma de as distinguir.

Para configurar um destinatário para as suas métricas zookeeper, especifique os seguintes campos:

Campo Predefinição Descrição
collection_interval 60s Um valor de duração, como 30s ou 5m.
endpoint localhost:2181 O URL exposto pelo ZooKeeper.
type Este valor tem de ser zookeeper.

O que é monitorizado

A tabela seguinte apresenta a lista de métricas que o agente de operações recolhe da instância do ZooKeeper.

Tipo de métrica
Tipo, Tipo
Recursos monitorizados		 Etiquetas
workload.googleapis.com/zookeeper.connection.active
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/zookeeper.data_tree.ephemeral_node.count
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/zookeeper.data_tree.size
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/zookeeper.file_descriptor.limit
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/zookeeper.file_descriptor.open
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/zookeeper.fsync.exceeded_threshold.count
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/zookeeper.latency.avg
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/zookeeper.latency.max
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/zookeeper.latency.min
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/zookeeper.packet.count
CUMULATIVE, INT64
gce_instance 		direction
workload.googleapis.com/zookeeper.request.active
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/zookeeper.watch.count
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/zookeeper.znode.count
GAUGE, INT64
gce_instance 		 

Valide a configuração

Esta secção descreve como verificar se configurou corretamente o recetor do ZooKeeper. O agente de operações pode demorar um ou dois minutos a começar a recolher telemetria.

Para verificar se os registos do ZooKeeper estão a ser enviados para o Cloud Logging, faça o seguinte:

  1. Na Google Cloud consola, aceda à página Explorador de registos:

    Aceda ao Explorador de registos

    Se usar a barra de pesquisa para encontrar esta página, selecione o resultado cuja legenda é Registo.

  2. Introduza a seguinte consulta no editor e, de seguida, clique em Executar consulta: 
    resource.type="gce_instance"
log_id("zookeeper_general")

Para verificar se as métricas do ZooKeeper estão a ser enviadas para o Cloud Monitoring, faça o seguinte:

  1. Na Google Cloud consola, aceda à página  Explorador de métricas:

    Aceda ao Metrics Explorer

    Se usar a barra de pesquisa para encontrar esta página, selecione o resultado cujo subtítulo é Monitorização.

  2. Na barra de ferramentas do painel do criador de consultas, selecione o botão cujo nome é  MQL ou  PromQL.
  3. Verifique se a opção PromQL está selecionada no botão Idioma. O botão para alternar o idioma encontra-se na mesma barra de ferramentas que lhe permite formatar a consulta.
  4. Introduza a seguinte consulta no editor e, de seguida, clique em Executar consulta: 
    {"workload.googleapis.com/zookeeper.file_descriptor.limit", monitored_resource="gce_instance"}

Ver o painel de controlo

Para ver as métricas do ZooKeeper, tem de ter um gráfico ou um painel de controlo configurado. A integração do ZooKeeper inclui um ou mais painéis de controlo para si. Todos os painéis de controlo são instalados automaticamente depois de configurar a integração e o agente de operações começar a recolher dados de métricas.

Também pode ver pré-visualizações estáticas de painéis de controlo sem instalar a integração.

Para ver um painel de controlo instalado, faça o seguinte:

  1. Na Google Cloud consola, aceda à página  Painéis de controlo:

    Aceda a Painéis de controlo

    Se usar a barra de pesquisa para encontrar esta página, selecione o resultado cujo subtítulo é Monitorização.

  2. Selecione o separador Lista de painéis de controlo e, de seguida, escolha a categoria Integrações.
  3. Clique no nome do painel de controlo que quer ver.

Se configurou uma integração, mas o painel de controlo não foi instalado, verifique se o agente de operações está em execução. Quando não existem dados de métricas para um gráfico no painel de controlo, a instalação do painel de controlo falha. Depois de o agente de operações começar a recolher métricas, o painel de controlo é instalado para si.

Para ver uma pré-visualização estática do painel de controlo, faça o seguinte:

  1. Na Google Cloud consola, aceda à página  Integrações:

    Aceda a Integrações

    Se usar a barra de pesquisa para encontrar esta página, selecione o resultado cujo subtítulo é Monitorização.

  2. Clique no filtro da plataforma de implementação Compute Engine.
  3. Localize a entrada para ZooKeeper e clique em Ver detalhes.
  4. Selecione o separador Painéis de controlo para ver uma pré-visualização estática. Se o painel de controlo estiver instalado, pode navegar até ele clicando em Ver painel de controlo.

Para mais informações acerca dos painéis de controlo no Cloud Monitoring, consulte o artigo Painéis de controlo e gráficos.

Para mais informações sobre como usar a página Integrações, consulte o artigo Gerir integrações.

Instale políticas de alerta

As políticas de alerta indicam ao Cloud Monitoring que lhe envie uma notificação quando ocorrerem condições especificadas. A integração do ZooKeeper inclui uma ou mais políticas de alerta para sua utilização. Pode ver e instalar estas políticas de alerta na página Integrações em Monitorização.

Para ver as descrições das políticas de alerta disponíveis e instalá-las, faça o seguinte:

  1. Na Google Cloud consola, aceda à página  Integrações:

    Aceda a Integrações

    Se usar a barra de pesquisa para encontrar esta página, selecione o resultado cujo subtítulo é Monitorização.

  2. Localize a entrada para ZooKeeper e clique em Ver detalhes.
  3. Selecione o separador Alertas. Este separador apresenta descrições das políticas de alerta disponíveis e uma interface para as instalar.
  4. Instale políticas de alerta. As políticas de alerta precisam de saber para onde enviar notificações de que o alerta foi acionado, pelo que requerem informações suas para a instalação. Para instalar políticas de alerta, faça o seguinte:
    1. Na lista de políticas de alerta disponíveis, selecione as que quer instalar.

    2. Na secção Configurar notificações, selecione um ou mais canais de notificação. Tem a opção de desativar a utilização de canais de notificação, mas, se o fizer, as suas políticas de alerta são acionadas silenciosamente. Pode verificar o respetivo estado em Monitorização, mas não recebe notificações.

      Para mais informações sobre os canais de notificação, consulte o artigo Faça a gestão dos canais de notificação.

    3. Clique em Criar políticas.

Para mais informações sobre as políticas de alerta no Cloud Monitoring, consulte o artigo Introdução aos alertas.

Para mais informações sobre como usar a página Integrações, consulte o artigo Gerir integrações.

O que se segue?

Para ver um passo a passo sobre como usar o Ansible para instalar o agente de operações, configurar uma aplicação de terceiros e instalar um painel de controlo de exemplo, consulte o vídeo Instale o agente de operações para resolver problemas de aplicações de terceiros.