Elasticsearch

Neste documento, descrevemos como configurar a implantação do Google Kubernetes Engine para usar o Google Cloud Managed Service para Prometheus a fim de coletar métricas do Elasticsearch. Esta página mostra como fazer o seguinte:

Configure o exportador para o Elasticsearch para relatar as métricas.
Configurar um recurso PodMonitoring para o serviço gerenciado para Prometheus a fim de coletar as métricas exportadas.
Instalar um painel no Cloud Monitoring para ver as métricas.
Configure regras de alertas para monitorar as métricas.

Estas instruções se aplicam somente ao usar a coleção gerenciada com o serviço gerenciado para Prometheus. Se você estiver usando a coleção autoimplantada, consulte o repositório de origem do exportador do Elasticsearch para ver informações da instalação.

Estas instruções são um exemplo e devem funcionar na maioria dos ambientes do Kubernetes. Se você estiver com problemas para instalar um aplicativo ou exportador devido a políticas restritivas de segurança ou da organização, recomendamos consultar a documentação de código aberto para receber suporte.

Para saber mais sobre o Elasticsearch, consulte Elasticsearch.

Pré-requisitos

Para coletar métricas do Elasticsearch usando o Managed Service para Prometheus e a coleta gerenciada, sua implantação precisa atender aos seguintes requisitos:

Seu cluster precisa executar a versão 1.21.4-gke.300 ou posterior do Google Kubernetes Engine.
É necessário executar o Managed Service para Prometheus com a coleta gerenciada ativada. Para mais informações, consulte Começar a usar a coleta gerenciada.
Para usar os painéis disponíveis no Cloud Monitoring para a integração do Elasticsearch, use a versão v1.3.0 ou posterior do elasticsearch_exporter.
Para mais informações sobre os painéis disponíveis, consulte Visualizar painéis.

Instalar o exportador do Elasticsearch

Recomendamos que você instale o exportador do Elasticsearch, elasticsearch_exporter, usando a seguinte configuração:

# Copyright 2022 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: elasticsearch-exporter
  labels:
    app.kubernetes.io/name: elasticsearch-exporter
spec:
  selector:
    matchLabels:
      app.kubernetes.io/name: elasticsearch-exporter
  template:
    metadata:
      labels:
        app.kubernetes.io/name: elasticsearch-exporter
    spec:
      containers:
      - name: exporter
        image: quay.io/prometheuscommunity/elasticsearch-exporter:v1.3.0
        args:
        - '--es.uri=https://user:password@elasticsearch-es-internal-http:9200'
        ports:
        - containerPort: 9114
          name: prometheus

O exportador do Elasticsearch é configurável com flags que podem ser definidas como argumentos de contêiner. É possível ajustar a configuração do exportador para que corresponda à configuração do Elasticsearch. Atualize o flag --es.uri para corresponder ao nome de usuário, à senha e ao nome do serviço clusterIP do seu ambiente.

Para aplicar as alterações de configuração de um arquivo local, execute o seguinte comando:

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

Também é possível usar o Terraform para gerenciar as configurações.

Definir um recurso do PodMonitoring

Para descobrir o destino, o operador do Managed Service para Prometheus, é necessário um recurso PodMonitoring que corresponde ao exportador do Elasticsearch no mesmo namespace.

É possível usar a seguinte configuração do PodMonitoring:

# Copyright 2022 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: elasticsearch
  labels:
    app.kubernetes.io/name: elasticsearch
    app.kubernetes.io/part-of: google-cloud-managed-prometheus
spec:
  endpoints:
  - port: prometheus
    scheme: http
    interval: 30s
    path: /metrics
  selector:
    matchLabels:
      app.kubernetes.io/name: elasticsearch-exporter

Para aplicar as alterações de configuração de um arquivo local, execute o seguinte comando:

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

Também é possível usar o Terraform para gerenciar as configurações.

Definir regras e alertas

Use a configuração Rules a seguir para definir alertas nas suas métricas do Elasticsearch:

# Copyright 2022 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: monitoring.googleapis.com/v1
kind: Rules
metadata:
  name: elasticsearch-rules
  labels:
    app.kubernetes.io/component: rules
    app.kubernetes.io/name: elasticsearch-rules
    app.kubernetes.io/part-of: google-cloud-managed-prometheus
spec:
  groups:
  - name: elasticsearch
    interval: 30s
    rules:
    - alert: ElasticsearchHighJVMMemoryUsage
      annotations:
        description: |-
          Elasticsearch high jvm memory usage
            VALUE = {{ $value }}
            LABELS: {{ $labels }}
        summary: Elasticsearch high jvm memory usage (instance {{ $labels.instance }})
      expr: (elasticsearch_jvm_memory_used_bytes / elasticsearch_jvm_memory_max_bytes) > 0.9
      for: 5m
      labels:
        severity: critical
    - alert: ElasticsearchRedClusterStatus
      annotations:
        description: |-
          Elasticsearch red cluster status
            VALUE = {{ $value }}
            LABELS: {{ $labels }}
        summary: Elasticsearch red cluster status (instance {{ $labels.instance }})
      expr: sum(elasticsearch_cluster_health_status{color="red"}) > 0
      for: 5m
      labels:
        severity: critical
    - alert: ElasticsearchYellowClusterStatus
      annotations:
        description: |-
          Elasticsearch yellow cluster status
            VALUE = {{ $value }}
            LABELS: {{ $labels }}
        summary: Elasticsearch yellow cluster status (instance {{ $labels.instance }})
      expr: sum(elasticsearch_cluster_health_status{color="yellow"}) > 0
      for: 5m
      labels:
        severity: warning

Para aplicar as alterações de configuração de um arquivo local, execute o seguinte comando:

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

Também é possível usar o Terraform para gerenciar as configurações.

Para mais informações sobre como aplicar regras ao cluster, consulte Avaliação e alerta de regras gerenciadas.

É possível ajustar os limites de alertas conforme seu aplicativo.

Verificar a configuração

Use o Metrics Explorer para verificar se você configurou corretamente o exportador do Elasticsearch. Pode levar um ou dois minutos para que o Cloud Monitoring ingira as métricas.

Para verificar se as métricas foram transferidas, faça o seguinte:

No Console do Google Cloud, acesse a página do Metrics Explorer:
Acesse o Metrics explorer

Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.
Na barra de ferramentas do painel do criador de consultas, selecione o botão MQL ou PromQL.
Verifique se PromQL está selecionado na opção de ativar/desativar PromQL. A alternância de idiomas está na mesma barra de ferramentas que permite formatar sua consulta.

Digite e execute a seguinte consulta:

up{job="elasticsearch", cluster="CLUSTER_NAME", namespace="NAMESPACE_NAME"}

Ver painéis

A integração do Cloud Monitoring inclui o painel Visão geral do Elasticsearch Prometheus. Os painéis são instalados automaticamente ao configurar a integração. Também é possível visualizar visualizações estáticas de painéis sem instalar a integração.

Para ver um painel instalado, faça o seguinte:

No console do Google Cloud, acesse a página Painéis:
Ir para Painéis

Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.
Selecione a guia Lista de painéis.
Escolha a categoria Integrações.
Clique no nome do painel, por exemplo, Visão geral do Elasticsearch Prometheus.

Para acessar uma visualização estática do painel, faça o seguinte:

No console do Google Cloud, acesse a página Integrações:
Acessar Integrações

Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.
Clique no filtro de plataforma de implantação do Kubernetes Engine.
Localize a integração do Elasticsearch e clique em Visualizar detalhes.
Selecione a guia Painéis.

Solução de problemas

Para resolver problemas de transferências de métricas, consulte Problemas com a coleta de exportadores em Resolver problemas no processamento.