Apache ZooKeeper

Mantenha tudo organizado com as coleções Salve e categorize o conteúdo com base nas suas preferências.

Neste documento, descrevemos como configurar a implantação do Google Kubernetes Engine para usar o Google Cloud Managed Service para Prometheus a fim de coletar métricas do exportador do Zookeeper. Esta página mostra como fazer o seguinte:

  • Configure o exportador do Zookeeper para gerar relatórios de métricas.
  • Configurar um recurso PodMonitoring para o serviço gerenciado para Prometheus a fim de coletar as métricas exportadas.
  • Instalar um painel no Cloud Monitoring para ver as métricas.
  • Configure regras de alertas para monitorar as métricas.

Essas instruções aplicam-se somente se você estiver usando usando a coleção gerenciada com o Managed Service para Prometheus. Se você estiver usando a coleção autoimplantada, consulte a documentação do Zookeeper para ver informações de instalação.

Para mais informações sobre o Zookeeper, consulte Zookeeper.

Pré-requisitos

Para coletar métricas do exportador do Zookeeper usando o Managed Service para Prometheus e a coleção gerenciada, sua implantação precisa atender aos seguintes requisitos:

  • Seu cluster precisa executar a versão 1.21.4-gke.300 ou posterior do Google Kubernetes Engine.
  • É necessário executar o Managed Service para Prometheus com a coleta gerenciada ativada. Para mais informações, consulte Começar a usar a coleta gerenciada.

  • Para usar os painéis disponíveis no Cloud Monitoring para a integração do Zookeeper, use a versão 3.8.0 ou posterior do zookeeper.

    Para mais informações sobre os painéis disponíveis, consulte Visualizar painéis.

Modificar a configuração do Zookeeper

Modifique a configuração do Zookeeper conforme mostrado no exemplo a seguir:

# Copyright 2022 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: zookeeper
spec:
  selector:
    matchLabels:
+     app.kubernetes.io/name: zookeeper
  template:
    metadata:
      labels:
+       app.kubernetes.io/name: zookeeper
    spec:
      containers:
      - name: zookeeper
        image: zookeeper:3.8.0
+       env:
+       - name: ZOO_CFG_EXTRA
+         value: "metricsProvider.className=org.apache.zookeeper.metrics.prometheus.PrometheusMetricsProvider metricsProvider.httpPort=7000 metricsProvider.exportJvmInfo=true"
+       ports:
+       - containerPort: 7000
+         name: prometheus

Adicione à sua configuração todas as linhas precedidas pelo símbolo +.

Para aplicar as alterações de configuração de um arquivo local, execute o seguinte comando:

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

Também é possível usar o Terraform para gerenciar as configurações.

O Zookeeper expõe as métricas do formato Prometheus automaticamente quando configurado para usar a variável de ambiente ZOO_CFG_EXTRA. Neste exemplo, configuramos o Zookeeper para expor métricas no formato do Prometheus na porta 7000.

Definir um recurso do PodMonitoring

Para descobrir o destino, o operador do Managed Service para Prometheus requer um recurso PodMonitoring que corresponde ao exportador do Zookeeper no mesmo namespace.

É possível usar a seguinte configuração do PodMonitoring:

# Copyright 2022 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: zookeeper
  labels:
    app.kubernetes.io/name: zookeeper
    app.kubernetes.io/part-of: google-cloud-managed-prometheus
spec:
  endpoints:
  - port: prometheus
    scheme: http
    interval: 30s
    path: /metrics
  selector:
    matchLabels:
      app.kubernetes.io/name: zookeeper

Para aplicar as alterações de configuração de um arquivo local, execute o seguinte comando:

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

Também é possível usar o Terraform para gerenciar as configurações.

Definir regras e alertas

Use a configuração Rules a seguir para definir alertas nas suas métricas do Zookeeper:

# Copyright 2022 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: monitoring.googleapis.com/v1
kind: Rules
metadata:
  name: zookeeper-rules
  labels:
    app.kubernetes.io/component: rules
    app.kubernetes.io/name: zookeeper-rules
    app.kubernetes.io/part-of: google-cloud-managed-prometheus
spec:
  groups:
  - name: zookeeper
    interval: 30s
    rules:
    - alert: ZooKeeperHighAverageLatency
      annotations:
        description: |-
          ZooKeeper high average latency
            VALUE = {{ $value }}
            LABELS: {{ $labels }}
        summary: ZooKeeper high average latency (instance {{ $labels.instance }})
      expr: avg_latency > 100
      for: 5m
      labels:
        severity: warning
    - alert: ZooKeeperHighFsyncDuration
      annotations:
        description: |-
          ZooKeeper high fsync duration
            VALUE = {{ $value }}
            LABELS: {{ $labels }}
        summary: ZooKeeper high fsync duration (instance {{ $labels.instance }})
      expr: fsynctime_sum > 100
      for: 5m
      labels:
        severity: warning
    - alert: ZooKeeperLowFreeFileDescriptors
      annotations:
        description: |-
          ZooKeeper high fsync duration
            VALUE = {{ $value }}
            LABELS: {{ $labels }}
        summary: ZooKeeper high fsync duration (instance {{ $labels.instance }})
      expr: open_file_descriptor_count >= max_file_descriptor_count - 15
      for: 5m
      labels:
        severity: critical

Para aplicar as alterações de configuração de um arquivo local, execute o seguinte comando:

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

Também é possível usar o Terraform para gerenciar as configurações.

Para mais informações sobre como aplicar regras ao cluster, consulte Avaliação e alerta de regras gerenciadas.

É possível ajustar os limites de alertas conforme seu aplicativo.

Verificar a configuração

Use o Metrics Explorer para verificar se você configurou corretamente o exportador do Zookeeper. Pode levar um ou dois minutos para que o Cloud Monitoring ingira as métricas.

Para verificar se as métricas foram transferidas, faça o seguinte:

  1. No console do Google Cloud, selecione Monitoring ou clique no botão a seguir:
    Acessar o Monitoring
  2. No painel de navegação, selecione o   Metrics Explorer.
  3. Selecione a guia PromQL e execute a seguinte consulta:
    up{job="zookeeper", cluster="CLUSTER_NAME", namespace="NAMESPACE_NAME"}

Ver painéis

A integração do Cloud Monitoring inclui o painel Visão geral do Zookeeper Prometheus. Os painéis são instalados automaticamente ao configurar a integração. Também é possível acessar as visualizações estáticas dos painéis sem instalar a integração.

Para ver um painel instalado, faça o seguinte:

  1. No console do Google Cloud, selecione Monitoring ou clique no botão a seguir:
    Acessar o Monitoring
  2. No painel de navegação, selecione  Painéis.
  3. Selecione a guia Lista de painéis.
  4. Escolha a categoria Integrações.
  5. Clique no nome do painel, por exemplo, Visão geral do Zookeeper Prometheus.

Para acessar uma visualização estática do painel, faça o seguinte:

  1. No console do Google Cloud, selecione Monitoring ou clique no botão a seguir:
    Acessar o Monitoring
  2. No painel de navegação, selecione  Integrações.
  3. Clique no filtro de plataforma de implantação do Kubernetes Engine.
  4. Localize a integração do Apache Zookeeper e clique em Visualizar detalhes.
  5. Selecione a guia Painéis.

Solução de problemas

Para resolver problemas de transferências de métricas, consulte Problemas com a coleta de exportadores em Resolver problemas no processamento.