Elasticsearch

O Elasticsearch é um servidor de pesquisa de código aberto baseado na biblioteca de pesquisa Lucene. É executado numa máquina virtual Java em vários sistemas operativos. O recetor elasticsearch recolhe telemetria ao nível do nó e do cluster das suas instâncias do Elasticsearch.

Para mais informações sobre o Elasticsearch, consulte a documentação do Elasticsearch.

Pré-requisitos

Para recolher telemetria do Elasticsearch, tem de instalar o agente de operações:

  • Para métricas, instale a versão 2.21.0 ou superior.
  • Para registos, instale a versão 2.9.0 ou superior.

Esta integração suporta a versão 7.9 ou superior do Elasticsearch.

Configure a sua instância do Elasticsearch

Se ativar as funcionalidades de segurança do Elasticsearch, tem de configurar um utilizador com o privilégio de cluster monitor ou manage.

Configure o agente de operações para o Elasticsearch

Seguindo o guia para configurar o Ops Agent, adicione os elementos necessários para recolher telemetria de instâncias do Elasticsearch e reinicie o agente.

Exemplo de configuração

Os seguintes comandos criam a configuração para recolher e carregar telemetria para o Elasticsearch:

# Configures Ops Agent to collect telemetry from the app. You must restart the agent for the configuration to take effect.

set -e

# Check if the file exists
if [ ! -f /etc/google-cloud-ops-agent/config.yaml ]; then
  # Create the file if it doesn't exist.
  sudo mkdir -p /etc/google-cloud-ops-agent
  sudo touch /etc/google-cloud-ops-agent/config.yaml
fi

# Create a back up of the existing file so existing configurations are not lost.
sudo cp /etc/google-cloud-ops-agent/config.yaml /etc/google-cloud-ops-agent/config.yaml.bak

# Configure the Ops Agent.
sudo tee /etc/google-cloud-ops-agent/config.yaml > /dev/null << EOF
metrics:
  receivers:
    elasticsearch:
      type: elasticsearch
  service:
    pipelines:
      elasticsearch:
        receivers:
          - elasticsearch

logging:
  receivers:
    elasticsearch_json:
      type: elasticsearch_json
    elasticsearch_gc:
      type: elasticsearch_gc
  service:
    pipelines:
      elasticsearch:
        receivers:
          - elasticsearch_json
          - elasticsearch_gc
EOF

Para que estas alterações entrem em vigor, tem de reiniciar o agente de operações:

Linux

  1. Para reiniciar o agente, execute o seguinte comando na sua instância: 
    sudo systemctl restart google-cloud-ops-agent
  2. Para confirmar que o agente foi reiniciado, execute o seguinte comando e verifique se os componentes "Agente de métricas" e "Agente de registo" foram iniciados: 
    sudo systemctl status "google-cloud-ops-agent*"

Windows

  1. Estabeleça ligação à sua instância através do RDP ou de uma ferramenta semelhante e inicie sessão no Windows.
  2. Abra um terminal do PowerShell com privilégios de administrador: clique com o botão direito do rato no ícone do PowerShell e selecione Executar como administrador
  3. Para reiniciar o agente, execute o seguinte comando do PowerShell: 
    Restart-Service google-cloud-ops-agent -Force
  4. Para confirmar que o agente foi reiniciado, execute o seguinte comando e verifique se os componentes "Agente de métricas" e "Agente de registo" foram iniciados: 
    Get-Service google-cloud-ops-agent*

Configure a recolha de registos

Para carregar registos do Elasticsearch, tem de criar um recetor para os registos produzidos pelo Elasticsearch e, em seguida, criar um pipeline para o novo recetor.

Para configurar um recetor para os seus registos elasticsearch_json, especifique os seguintes campos:

Campo Predefinição Descrição
exclude_paths Uma lista de padrões de caminhos do sistema de ficheiros a excluir do conjunto correspondente a include_paths.
include_paths [/var/log/elasticsearch/*_server.json, /var/log/elasticsearch/*_deprecation.json, /var/log/elasticsearch/*_index_search_slowlog.json, /var/log/elasticsearch/*_index_indexing_slowlog.json, /var/log/elasticsearch/*_audit.json] Uma lista de caminhos do sistema de ficheiros a ler através da análise detalhada de cada ficheiro. Pode usar um caráter universal (*) nos caminhos.
record_log_file_path false Se estiver definido como true, o caminho para o ficheiro específico a partir do qual o registo de registo foi obtido aparece na entrada de registo de saída como o valor da etiqueta agent.googleapis.com/log_file_path. Quando usa um caráter universal, apenas é registado o caminho do ficheiro a partir do qual o registo foi obtido.
type Este valor tem de ser elasticsearch_json.
wildcard_refresh_interval 60s O intervalo no qual os caminhos de ficheiros com carateres universais em include_paths são atualizados. Indicado como uma duração, por exemplo, 30s ou 2m. Esta propriedade pode ser útil em débitos de registo elevados, em que os ficheiros de registo são rodados mais rapidamente do que o intervalo predefinido.

Para configurar um recetor para os seus registos elasticsearch_gc, especifique os seguintes campos:

Campo Predefinição Descrição
exclude_paths Uma lista de padrões de caminhos do sistema de ficheiros a excluir do conjunto correspondente a include_paths.
include_paths [/var/log/elasticsearch/gc.log] Uma lista de caminhos do sistema de ficheiros a ler através da análise detalhada de cada ficheiro. Pode usar um caráter universal (*) nos caminhos.
record_log_file_path false Se estiver definido como true, o caminho para o ficheiro específico a partir do qual o registo de registo foi obtido aparece na entrada de registo de saída como o valor da etiqueta agent.googleapis.com/log_file_path. Quando usa um caráter universal, apenas é registado o caminho do ficheiro a partir do qual o registo foi obtido.
type Este valor tem de ser elasticsearch_gc.
wildcard_refresh_interval 60s O intervalo no qual os caminhos de ficheiros com carateres universais em include_paths são atualizados. Indicado como uma duração, por exemplo, 30s ou 2m. Esta propriedade pode ser útil em débitos de registo elevados, em que os ficheiros de registo são rodados mais rapidamente do que o intervalo predefinido.

O que é registado

O logName é derivado dos IDs dos recetores especificados na configuração. Os campos detalhados no interior de LogEntry são os seguintes.

Os registos elasticsearch_json contêm os seguintes campos em LogEntry:

Campo Tipo Descrição
jsonPayload.cluster de string O cluster que emite o registo de registo
jsonPayload.cluster.name de string O nome do cluster que emite o registo
jsonPayload.cluster.uuid de string O UUID do cluster que emite o registo
jsonPayload.component de string O componente do Elasticsearch que emitiu o registo
jsonPayload.level de string Nível de entrada do registo
jsonPayload.message de string Mensagem de registo
jsonPayload.node de string O nó que emite o registo de registos
jsonPayload.node.name de string O nome do nó que emite o registo
jsonPayload.node.uuid de string O UUID do nó que emite o registo
jsonPayload.type de string O tipo de registo, que indica a origem do registo (por exemplo, servidor indica que este LogEntry é proveniente do registo do servidor)
severity string (LogSeverity) Nível de entrada de registo (traduzido).

Os registos elasticsearch_gc contêm os seguintes campos em LogEntry:

Campo Tipo Descrição
jsonPayload.gc_run número A execução do coletor de lixo
jsonPayload.message de string Mensagem de registo
jsonPayload.type de string O tipo de registo
severity string (LogSeverity) Nível de entrada de registo (traduzido).

Configure a recolha de métricas

Para carregar métricas do Elasticsearch, tem de criar um recetor para as métricas que o Elasticsearch produz e, em seguida, criar um pipeline para o novo recetor.

Este recetor não suporta a utilização de várias instâncias na configuração, por exemplo, para monitorizar vários pontos finais. Todas essas instâncias escrevem na mesma série cronológica e o Cloud Monitoring não tem forma de as distinguir.

Para configurar um destinatário para as suas métricas elasticsearch, especifique os seguintes campos:

Campo Predefinição Descrição
ca_file Caminho para o certificado da AC. Como cliente, isto valida o certificado do servidor. Se estiver vazio, o destinatário usa a AC de raiz do sistema.
cert_file Caminho para o certificado TLS a usar para ligações que requerem mTLS.
collection_interval 60s Um valor de duração, como 30s ou 5m.
endpoint http://localhost:92002 O URL de base da API REST do Elasticsearch.
insecure true Define se deve ou não usar uma ligação TLS segura. Se estiver definida como false, o TLS está ativado.
insecure_skip_verify false Define se a validação do certificado deve ou não ser ignorada. Se insecure estiver definido como true, o valor insecure_skip_verify não é usado.
key_file Caminho para a chave TLS a usar para ligações que requerem mTLS.
password Palavra-passe para autenticação com o Elasticsearch. Obrigatório se username estiver definido.
type Este valor tem de ser elasticsearch.
username Nome de utilizador para autenticação com o Elasticsearch. Obrigatório se password estiver definido.

O que é monitorizado

A tabela seguinte apresenta a lista de métricas que o agente de operações recolhe da instância do Elasticsearch.

Tipo de métrica
Tipo, Tipo
Recursos monitorizados		 Etiquetas
workload.googleapis.com/elasticsearch.breaker.memory.estimated
GAUGE, INT64
gce_instance 		name
workload.googleapis.com/elasticsearch.breaker.memory.limit
GAUGE, INT64
gce_instance 		name
workload.googleapis.com/elasticsearch.breaker.tripped
CUMULATIVE, INT64
gce_instance 		name
workload.googleapis.com/elasticsearch.cluster.data_nodes
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.cluster.health
GAUGE, INT64
gce_instance 		status
workload.googleapis.com/elasticsearch.cluster.in_flight_fetch
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.cluster.nodes
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.cluster.pending_tasks
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.cluster.published_states.differences
GAUGE, INT64
gce_instance 		state
workload.googleapis.com/elasticsearch.cluster.published_states.full
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.cluster.shards
GAUGE, INT64
gce_instance 		state
workload.googleapis.com/elasticsearch.cluster.state_queue
GAUGE, INT64
gce_instance 		state
workload.googleapis.com/elasticsearch.cluster.state_update.count
CUMULATIVE, INT64
gce_instance 		state
workload.googleapis.com/elasticsearch.cluster.state_update.time
CUMULATIVE, INT64
gce_instance 		state
type
workload.googleapis.com/elasticsearch.indexing_pressure.memory.limit
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.indexing_pressure.memory.total.primary_rejections
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.indexing_pressure.memory.total.replica_rejections
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.memory.indexing_pressure
GAUGE, INT64
gce_instance 		stage
workload.googleapis.com/elasticsearch.node.cache.count
GAUGE, INT64
gce_instance 		type
workload.googleapis.com/elasticsearch.node.cache.evictions
CUMULATIVE, INT64
gce_instance 		cache_name
workload.googleapis.com/elasticsearch.node.cache.memory.usage
GAUGE, INT64
gce_instance 		cache_name
workload.googleapis.com/elasticsearch.node.cluster.connections
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.cluster.io
CUMULATIVE, INT64
gce_instance 		direction
workload.googleapis.com/elasticsearch.node.disk.io.read
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.disk.io.write
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.documents
GAUGE, INT64
gce_instance 		state
workload.googleapis.com/elasticsearch.node.fs.disk.available
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.fs.disk.free
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.fs.disk.total
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.http.connections
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.ingest.documents
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.ingest.documents.current
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.ingest.operations.failed
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.open_files
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.operations.completed
CUMULATIVE, INT64
gce_instance 		operation
workload.googleapis.com/elasticsearch.node.operations.time
CUMULATIVE, INT64
gce_instance 		operation
workload.googleapis.com/elasticsearch.node.pipeline.ingest.documents.current
GAUGE, INT64
gce_instance 		name
workload.googleapis.com/elasticsearch.node.pipeline.ingest.documents.preprocessed
GAUGE, INT64
gce_instance 		name
workload.googleapis.com/elasticsearch.node.pipeline.ingest.operations.failed
CUMULATIVE, INT64
gce_instance 		name
workload.googleapis.com/elasticsearch.node.script.cache_evictions
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.script.compilation_limit_triggered
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.script.compilations
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.shards.data_set.size
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.shards.reserved.size
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.shards.size
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.thread_pool.tasks.finished
CUMULATIVE, INT64
gce_instance 		state
thread_pool_name
workload.googleapis.com/elasticsearch.node.thread_pool.tasks.queued
GAUGE, INT64
gce_instance 		thread_pool_name
workload.googleapis.com/elasticsearch.node.thread_pool.threads
GAUGE, INT64
gce_instance 		state
thread_pool_name
workload.googleapis.com/elasticsearch.node.translog.operations
CUMULATIVE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.translog.size
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.node.translog.uncommitted.size
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.os.cpu.load_avg.15m
GAUGE, DOUBLE
gce_instance 		 
workload.googleapis.com/elasticsearch.os.cpu.load_avg.1m
GAUGE, DOUBLE
gce_instance 		 
workload.googleapis.com/elasticsearch.os.cpu.load_avg.5m
GAUGE, DOUBLE
gce_instance 		 
workload.googleapis.com/elasticsearch.os.cpu.usage
GAUGE, INT64
gce_instance 		 
workload.googleapis.com/elasticsearch.os.memory
GAUGE, INT64
gce_instance 		state

Valide a configuração

Esta secção descreve como verificar se configurou corretamente o recetor do Elasticsearch. O agente de operações pode demorar um ou dois minutos a começar a recolher telemetria.

Para verificar se os registos do Elasticsearch estão a ser enviados para o Cloud Logging, faça o seguinte:

  1. Na Google Cloud consola, aceda à página Explorador de registos:

    Aceda ao Explorador de registos

    Se usar a barra de pesquisa para encontrar esta página, selecione o resultado cuja legenda é Registo.

  2. Introduza a seguinte consulta no editor e, de seguida, clique em Executar consulta: 
    resource.type="gce_instance"
(log_id("elasticsearch_json") OR log_id("elasticsearch_gc"))

Para verificar se as métricas do Elasticsearch estão a ser enviadas para o Cloud Monitoring, faça o seguinte:

  1. Na Google Cloud consola, aceda à página  Explorador de métricas:

    Aceda ao Metrics Explorer

    Se usar a barra de pesquisa para encontrar esta página, selecione o resultado cujo subtítulo é Monitorização.

  2. Na barra de ferramentas do painel do criador de consultas, selecione o botão cujo nome é  MQL ou  PromQL.
  3. Verifique se a opção PromQL está selecionada no botão Idioma. O botão para alternar o idioma encontra-se na mesma barra de ferramentas que lhe permite formatar a consulta.
  4. Introduza a seguinte consulta no editor e, de seguida, clique em Executar consulta: 
    {"workload.googleapis.com/elasticsearch.node.open_files", monitored_resource="gce_instance"}

Ver o painel de controlo

Para ver as métricas do Elasticsearch, tem de ter um gráfico ou um painel de controlo configurado. A integração do Elasticsearch inclui um ou mais painéis de controlo para si. Todos os painéis de controlo são instalados automaticamente depois de configurar a integração e o agente de operações começar a recolher dados de métricas.

Também pode ver pré-visualizações estáticas de painéis de controlo sem instalar a integração.

Para ver um painel de controlo instalado, faça o seguinte:

  1. Na Google Cloud consola, aceda à página  Painéis de controlo:

    Aceda a Painéis de controlo

    Se usar a barra de pesquisa para encontrar esta página, selecione o resultado cujo subtítulo é Monitorização.

  2. Selecione o separador Lista de painéis de controlo e, de seguida, escolha a categoria Integrações.
  3. Clique no nome do painel de controlo que quer ver.

Se configurou uma integração, mas o painel de controlo não foi instalado, verifique se o agente de operações está em execução. Quando não existem dados de métricas para um gráfico no painel de controlo, a instalação do painel de controlo falha. Depois de o agente de operações começar a recolher métricas, o painel de controlo é instalado para si.

Para ver uma pré-visualização estática do painel de controlo, faça o seguinte:

  1. Na Google Cloud consola, aceda à página  Integrações:

    Aceda a Integrações

    Se usar a barra de pesquisa para encontrar esta página, selecione o resultado cujo subtítulo é Monitorização.

  2. Clique no filtro da plataforma de implementação Compute Engine.
  3. Localize a entrada para Elasticsearch e clique em Ver detalhes.
  4. Selecione o separador Painéis de controlo para ver uma pré-visualização estática. Se o painel de controlo estiver instalado, pode navegar até ele clicando em Ver painel de controlo.

Para mais informações acerca dos painéis de controlo no Cloud Monitoring, consulte o artigo Painéis de controlo e gráficos.

Para mais informações sobre como usar a página Integrações, consulte o artigo Gerir integrações.

Instale políticas de alerta

As políticas de alerta indicam ao Cloud Monitoring que lhe envie uma notificação quando ocorrerem condições especificadas. A integração do Elasticsearch inclui uma ou mais políticas de alerta para sua utilização. Pode ver e instalar estas políticas de alerta na página Integrações em Monitorização.

Para ver as descrições das políticas de alerta disponíveis e instalá-las, faça o seguinte:

  1. Na Google Cloud consola, aceda à página  Integrações:

    Aceda a Integrações

    Se usar a barra de pesquisa para encontrar esta página, selecione o resultado cujo subtítulo é Monitorização.

  2. Localize a entrada para Elasticsearch e clique em Ver detalhes.
  3. Selecione o separador Alertas. Este separador apresenta descrições das políticas de alerta disponíveis e uma interface para as instalar.
  4. Instale políticas de alerta. As políticas de alerta precisam de saber para onde enviar notificações de que o alerta foi acionado, pelo que requerem informações suas para a instalação. Para instalar políticas de alerta, faça o seguinte:
    1. Na lista de políticas de alerta disponíveis, selecione as que quer instalar.

    2. Na secção Configurar notificações, selecione um ou mais canais de notificação. Tem a opção de desativar a utilização de canais de notificação, mas, se o fizer, as suas políticas de alerta são acionadas silenciosamente. Pode verificar o respetivo estado em Monitorização, mas não recebe notificações.

      Para mais informações sobre os canais de notificação, consulte o artigo Faça a gestão dos canais de notificação.

    3. Clique em Criar políticas.

Para mais informações sobre as políticas de alerta no Cloud Monitoring, consulte o artigo Introdução aos alertas.

Para mais informações sobre como usar a página Integrações, consulte o artigo Gerir integrações.

O que se segue?

Para ver um passo a passo sobre como usar o Ansible para instalar o agente de operações, configurar uma aplicação de terceiros e instalar um painel de controlo de exemplo, consulte o vídeo Instale o agente de operações para resolver problemas de aplicações de terceiros.