Apache HBase

Neste documento, descrevemos como configurar a implantação do Google Kubernetes Engine para usar o Google Cloud Managed Service para Prometheus a fim de coletar métricas do Apache HBase. Esta página mostra como fazer o seguinte:

• Configurar o exportador para o HBase para relatar as métricas.
• Configurar um recurso PodMonitoring para o serviço gerenciado para Prometheus a fim de coletar as métricas exportadas.
• Instalar um painel no Cloud Monitoring para ver as métricas.
• Configure regras de alertas para monitorar as métricas.

Estas instruções se aplicam somente ao usar a coleção gerenciada com o serviço gerenciado para Prometheus. Se você estiver usando a coleção autoimplantada, consulte o repositório de origem do exportador de JMX para ver informações da instalação.

Estas instruções são um exemplo e devem funcionar na maioria dos ambientes do Kubernetes. Se você estiver com problemas para instalar um aplicativo ou exportador devido a políticas restritivas de segurança ou da organização, recomendamos consultar a documentação de código aberto para receber suporte.

Para mais informações sobre o HBase, consulte Apache HBase.

Pré-requisitos

Para coletar métricas do HBase usando o Managed Service para Prometheus e a coleção gerenciada, sua implantação precisa atender aos seguintes requisitos:

• Seu cluster precisa executar a versão 1.21.4-gke.300 ou posterior do Google Kubernetes Engine.
• É necessário executar o Managed Service para Prometheus com a coleta gerenciada ativada. Para mais informações, consulte Começar a usar a coleta gerenciada.

• Para usar os painéis disponíveis no Cloud Monitoring para a integração do HBase, use a versão 0.17.0 ou posterior do jmx-exporter.

  Para mais informações sobre os painéis disponíveis, consulte Visualizar painéis.

Instalar o exportador HBase

Recomendamos que você instale o exportador HBase jmx-exporter como um arquivo secundário para sua carga de trabalho HBase. Para informações sobre o uso de arquivos secundários, consulte Aplicativos estendidos no Kubernetes com pods de múltiplos contêineres.

Para instalar jmx-exporter como um arquivo secundário para o HBase, modifique sua configuração do HBase, conforme mostrado no exemplo a seguir:

# Copyright 2023 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

+ apiVersion: v1
+ kind: ConfigMap
+ metadata:
+   name: hbase-exporter
+ data:
+   config.yaml: |
+     hostPort: localhost:9900
+     rules:
+     - pattern: "Hadoop<service=HBase, name=RegionServer, sub=TableLatencies><>Namespace_(\\w+)_table_(\\w+)_metric_(\\w+)"
+       name: "hbase_$3"
+       labels:
+         namespace: "$1"
+         table: "$2"
+     - pattern: "Hadoop<service=HBase, name=RegionServer, sub=Regions><>Namespace_(\\w+)_table_(\\w+)_region(\\W+)_metric_(\\w+)"
+       name: "hbase_$4"
+       labels:
+         namespace: "$1"
+         table: "$2"
+         region: "$3"
+     - pattern: "Hadoop<service=HBase, name=(\\w+), sub=(\\w+)><>(\\w+)"
+       name: "hbase_$1_$2_$3"
+     - pattern: "Hadoop<service=HBase, name=(\\w+)><>(\\w+)"
+       name: "hbase_$1_$2"
+     - pattern: "org.apache.ZooKeeperService<name0=StandaloneServer_port(\\d+)><>(\\w+)"
+       type: GAUGE
+       name: "zookeeper_$2"
+     - pattern: "org.apache.ZooKeeperService<name0=StandaloneServer_port(\\d+), name1=InMemoryDataTree><>(\\w+)"
+       type: GAUGE
+       name: "zookeeper_$2"
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: hbase
spec:
  selector:
    matchLabels:
+     app.kubernetes.io/name: hbase
  template:
    metadata:
      labels:
+       app.kubernetes.io/name: hbase
    spec:
      containers:
      - name: hbase
+       image: dajobe/hbase:latest
        ports:
+       - containerPort: 9900
+         name: jmx
        env:
+       - name: HBASE_MASTER_OPTS
+         value: -Dcom.sun.management.jmxremote.ssl=false -Dcom.sun.management.jmxremote.authenticate=false -Dcom.sun.management.jmxremote.rmi.port=9900 -Dcom.sun.management.jmxremote.port=9900
+     - name: jmx-exporter
+       image: bitnami/jmx-exporter:0.17.0
+       command:
+         - java
+         - -jar
+         - jmx_prometheus_httpserver.jar
+       args:
+         - "9000"
+         - config.yaml
+       ports:
+       - containerPort: 9000
+         name: prometheus
+       volumeMounts:
+       - mountPath: /opt/bitnami/jmx-exporter/config.yaml
+         subPath: config.yaml
+         name: hbase-exporter
+     volumes:
+     - name: hbase-exporter
+       configMap:
+         name: hbase-exporter
+         defaultMode: 0644
+         items:
+         - key: config.yaml
+           path: config.yaml

Adicione à sua configuração todas as linhas precedidas pelo símbolo +.

O HBase é compatível com o JMX, mas precisa ser ativado. A melhor maneira de ativar o JMX é transmitir as opções jmxremote para o script de inicialização, geralmente definindo a variável de ambiente HBASE_MASTER_OPTS ou HBASE_REGIONSERVER_OPTS.

Para aplicar as alterações de configuração de um arquivo local, execute o seguinte comando:

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

Também é possível usar o Terraform para gerenciar as configurações.

Definir um recurso do PodMonitoring

Para descobrir o destino, o operador do Managed Service para Prometheus requer um recurso PodMonitoring que corresponde ao exportador do HBase no mesmo namespace.

É possível usar a seguinte configuração do PodMonitoring:

# Copyright 2023 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: hbase
  labels:
    app.kubernetes.io/name: hbase
    app.kubernetes.io/part-of: google-cloud-managed-prometheus
spec:
  endpoints:
  - port: prometheus
    scheme: http
    interval: 30s
    path: /metrics
  selector:
    matchLabels:
      app.kubernetes.io/name: hbase

Verifique se os seletores do identificador e a porta correspondem aos seletores e à porta usados em Instalar o exportador do HBase.

Para aplicar as alterações de configuração de um arquivo local, execute o seguinte comando:

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

Também é possível usar o Terraform para gerenciar as configurações.

Definir regras e alertas

Use a configuração Rules a seguir para definir alertas nas suas métricas do HBase:

# Copyright 2023 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: monitoring.googleapis.com/v1
kind: Rules
metadata:
  name: hbase-rules
  labels:
    app.kubernetes.io/component: rules
    app.kubernetes.io/name: hbase-rules
    app.kubernetes.io/part-of: google-cloud-managed-prometheus
spec:
  groups:
  - name: hbase
    interval: 30s
    rules:
    - alert: HBaseAuthenticationErrors
      annotations:
        description: |-
          HBase authentication errors
            VALUE = {{ $value }}
            LABELS: {{ $labels }}
        summary: HBase authentication errors (instance {{ $labels.instance }})
      expr: rate(hbase_RegionServer_IPC_authenticationFailures[5m]) > 5
      for: 5m
      labels:
        severity: warning

Para aplicar as alterações de configuração de um arquivo local, execute o seguinte comando:

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

Também é possível usar o Terraform para gerenciar as configurações.

Para mais informações sobre como aplicar regras ao cluster, consulte Avaliação e alerta de regras gerenciadas.

É possível ajustar os limites de alertas conforme seu aplicativo.

Verificar a configuração

Use o Metrics Explorer para verificar se você configurou corretamente o exportador do HBase. Pode levar um ou dois minutos para que o Cloud Monitoring ingira as métricas.

Para verificar se as métricas foram transferidas, faça o seguinte:

1. No Console do Google Cloud, acesse a página do  Metrics Explorer:

   Acesse o Metrics explorer

   Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.

2. Na barra de ferramentas do painel do criador de consultas, selecione o botão  MQL ou  PromQL.
3. Verifique se PromQL está selecionado na opção de ativar/desativar Idioma. A alternância de idiomas está na mesma barra de ferramentas que permite formatar sua consulta.
4. Digite e execute a seguinte consulta:
   

   up{job="hbase", cluster="CLUSTER_NAME", namespace="NAMESPACE_NAME"}

Ver painéis

A integração do Cloud Monitoring inclui painéis "Prometheus". Os painéis são instalados automaticamente ao configurar a integração. Também é possível visualizar visualizações estáticas de painéis sem instalar a integração.

Para ver um painel instalado, faça o seguinte:

1. No console do Google Cloud, acesse a página  Painéis:

   Ir para Painéis

   Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.

2. Selecione a guia Lista de painéis.
3. Escolha a categoria Integrações.
4. Clique no nome do painel que você quer visualizar.

Para acessar uma visualização estática do painel, faça o seguinte:

1. No console do Google Cloud, acesse a página  Integrações:

   Acessar Integrações

   Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.

2. Clique no filtro de plataforma de implantação do Kubernetes Engine.
3. Localize a integração do Apache HBase e clique em Visualizar detalhes.
4. Selecione a guia Painéis.

Solução de problemas

Para resolver problemas de transferências de métricas, consulte Problemas com a coleta de exportadores em Resolver problemas no processamento.