Elasticsearch é um servidor de pesquisa de código aberto com base
na biblioteca de pesquisa Lucene. Ele é executado em uma máquina
virtual Java, além de uma série de sistemas operacionais. O receptor elasticsearch
coleta a telemetria no nível do nó e do cluster das instâncias do Elasticsearch.
Para ver mais informações sobre o Elasticsearch, consulte a documentação do Elasticsearch.
Pré-requisitos
Para coletar a telemetria do Elasticsearch, instale o Agente de operações:
- Para métricas, instale a versão 2.10.0 ou mais recente. Outras métricas foram adicionadas na versão 2.21.
- Para registros, instale a versão 2.9.0 ou mais recente.
Essa integração é compatível com o Elasticsearch versão 7.9 ou mais recente.
Configurar a instância do Elasticsearch
Se você ativar os recursos de segurança
do Elasticsearch,
será necessário configurar um usuário com o privilégio
de cluster monitor
ou manage
.
Configure o agente de operações para o Elasticsearch
Seguindo o guia para Configurar o agente de operações, adicione os elementos necessários para coletar registros das instâncias do Elasticsearch e reinicie o agente.
Exemplo de configuração
Os comandos a seguir criam a configuração para coletar e ingerir telemetria para o Elasticsearch e reinicia o agente de operações.
Configurar a coleta de registros
Para ingerir registros do Elasticsearch, é preciso criar receptores para os registros produzidos pelo Elasticsearch e, em seguida, criar um pipeline para os novos receptores.
elasticsearch_json
Para configurar um receptor para os registros , especifique os seguintes campos:
Campo | Padrão | Descrição |
---|---|---|
exclude_paths |
Uma lista de padrões de caminho do sistema de arquivos a serem excluídos do conjunto correspondente a include_paths . |
|
include_paths |
[/var/log/elasticsearch/*_server.json, /var/log/elasticsearch/*_deprecation.json, /var/log/elasticsearch/*_index_search_slowlog.json, /var/log/elasticsearch/*_index_indexing_slowlog.json, /var/log/elasticsearch/*_audit.json] |
Uma lista de caminhos do sistema de arquivos a serem lidos acompanhando cada
arquivo. Um caractere curinga (* ) pode ser usado nos caminhos. |
record_log_file_path |
false |
Se definido como true , o caminho para o arquivo específico de que a gravação de registro foi recebida aparecerá na entrada de registro de saída como o valor do identificador agent.googleapis.com/log_file_path . Ao usar um caractere curinga, apenas o caminho do arquivo de que o registro foi recebido é gravado. |
type |
O valor precisa ser elasticsearch_json . |
|
wildcard_refresh_interval |
60s |
O intervalo em que os caminhos de arquivos curinga em include_paths são atualizados. Determinado como uma duração analisável por time.ParseDuration , por exemplo, 30s ou 2m . Essa propriedade pode ser útil com capacidades de registro altas em que os arquivos de registro são alternados mais rapidamente do que o intervalo padrão. |
elasticsearch_gc
Para configurar um receptor para os registros , especifique os seguintes campos:
Campo | Padrão | Descrição |
---|---|---|
exclude_paths |
Uma lista de padrões de caminho do sistema de arquivos a serem excluídos do conjunto correspondente a include_paths . |
|
include_paths |
[/var/log/elasticsearch/gc.log] |
Uma lista de caminhos do sistema de arquivos a serem lidos acompanhando cada
arquivo. Um caractere curinga (* ) pode ser usado nos caminhos. |
record_log_file_path |
false |
Se definido como true , o caminho para o arquivo específico de que a gravação de registro foi recebida aparecerá na entrada de registro de saída como o valor do identificador agent.googleapis.com/log_file_path . Ao usar um caractere curinga, apenas o caminho do arquivo de que o registro foi recebido é gravado. |
type |
O valor precisa ser elasticsearch_gc . |
|
wildcard_refresh_interval |
60s |
O intervalo em que os caminhos de arquivos curinga em include_paths são atualizados. Determinado como uma duração analisável por time.ParseDuration , por exemplo, 30s ou 2m . Essa propriedade pode ser útil com capacidades de registro altas em que os arquivos de registro são alternados mais rapidamente do que o intervalo padrão. |
O que é registrado
O logName
é derivado dos
IDs do receptor especificados na configuração. Os campos
detalhados dentro de LogEntry
são os seguintes. As entradas de registro não contêm campos em branco ou ausentes.
Os registros elasticsearch_json
contêm os seguintes campos no LogEntry
:
Campo | Tipo | Descrição |
---|---|---|
jsonPayload.cluster |
string | O cluster que emite o registro |
jsonPayload.cluster.name |
string | O nome do cluster que está emitindo o registro |
jsonPayload.cluster.uuid |
string | O UUID do cluster que emite o registro |
jsonPayload.component |
string | O componente do Elasticsearch que emitiu o registro |
jsonPayload.level |
string | Nível de entrada de registro |
jsonPayload.message |
string | Mensagem de registro |
jsonPayload.node |
string | Nó que emite o registro |
jsonPayload.node.name |
string | O nome do nó que emite o registro |
jsonPayload.node.uuid |
string | O UUID do nó que emite o registro |
jsonPayload.type |
string | O tipo de registro, indicando de qual registro o registro veio (por exemplo, indica que este LogEntry veio do registro do servidor) |
severity |
string (LogSeverity ) |
Nível de entrada de registro (traduzido) |
Os registros elasticsearch_gc
contêm os seguintes campos no LogEntry
:
Campo | Tipo | Descrição |
---|---|---|
jsonPayload.gc_run |
número | A execução do coletor de lixo |
jsonPayload.message |
string | Mensagem de registro |
jsonPayload.type |
string | O tipo de registro |
severity |
string (LogSeverity ) |
Nível de entrada de registro (traduzido) |
Configurar a coleta de métricas
Para ingerir métricas do Elasticsearch, crie um receptor para as métricas produzidas pelo Elasticsearch e, em seguida, crie um pipeline para o novo receptor.
Esse receptor não aceita o uso de várias instâncias na configuração, por exemplo, para monitorar vários endpoints. Todas essas instâncias gravam na mesma série temporal, e o Cloud Monitoring não tem como diferenciá-las.
Para configurar um receptor para suas
métricas do elasticsearch
, especifique os campos
a seguir:
Campo | Padrão | Descrição |
---|---|---|
ca_file |
Caminho para o certificado de CA. Como cliente, isso verifica o certificado do servidor. Se estiver vazio, o receptor usará a CA raiz do sistema. | |
cert_file |
Caminho para o certificado TLS a ser usado para conexões exigidas por mTLS. | |
collection_interval |
60s |
Umm valor de time.Duration, como 30s ou 5m . |
endpoint |
http://localhost:92002 |
O URL base para a API REST do Elasticsearch. |
insecure |
true |
Define se uma conexão TLS segura será ou não usada. Se definido como false , o TLS será ativado. |
insecure_skip_verify |
false |
Define se é necessário pular a verificação do certificado. Se insecure for definido como true , o valor de insecure_skip_verify não será usado. |
key_file |
Caminho para a chave TLS a ser usada para conexões exigidas por mTLS. | |
password |
Senha para autenticação com o Elasticsearch. Obrigatória se o nome de usuário estiver definido. | |
type |
Esse valor precisa ser elasticsearch. | |
username |
Nome de usuário para autenticação no Elasticsearch. Obrigatório se a senha estiver definida. |
O que é monitorado?
A tabela a seguir fornece a lista de métricas que o agente de operações coleta da instância do Elasticsearch.
Tipo de métrica | |
---|---|
Tipo, tipo Recursos monitorados |
Rótulos |
workload.googleapis.com/elasticsearch.breaker.memory.estimated
|
|
GAUGE , INT64 gce_instance |
name
|
workload.googleapis.com/elasticsearch.breaker.memory.limit
|
|
GAUGE , INT64 gce_instance |
name
|
workload.googleapis.com/elasticsearch.breaker.tripped
|
|
CUMULATIVE , INT64 gce_instance |
name
|
workload.googleapis.com/elasticsearch.cluster.data_nodes
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.cluster.health
|
|
GAUGE , INT64 gce_instance |
status
|
workload.googleapis.com/elasticsearch.cluster.in_flight_fetch
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.cluster.nodes
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.cluster.pending_tasks
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.cluster.published_states.differences
|
|
GAUGE , INT64 gce_instance |
state
|
workload.googleapis.com/elasticsearch.cluster.published_states.full
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.cluster.shards
|
|
GAUGE , INT64 gce_instance |
state
|
workload.googleapis.com/elasticsearch.cluster.state_queue
|
|
GAUGE , INT64 gce_instance |
state
|
workload.googleapis.com/elasticsearch.cluster.state_update.count
|
|
CUMULATIVE , INT64 gce_instance |
state
|
workload.googleapis.com/elasticsearch.cluster.state_update.time
|
|
CUMULATIVE , INT64 gce_instance |
state
type
|
workload.googleapis.com/elasticsearch.indexing_pressure.memory.limit
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.indexing_pressure.memory.total.primary_rejections
|
|
CUMULATIVE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.indexing_pressure.memory.total.replica_rejections
|
|
CUMULATIVE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.memory.indexing_pressure
|
|
GAUGE , INT64 gce_instance |
stage
|
workload.googleapis.com/elasticsearch.node.cache.count
|
|
GAUGE , INT64 gce_instance |
type
|
workload.googleapis.com/elasticsearch.node.cache.evictions
|
|
CUMULATIVE , INT64 gce_instance |
cache_name
|
workload.googleapis.com/elasticsearch.node.cache.memory.usage
|
|
GAUGE , INT64 gce_instance |
cache_name
|
workload.googleapis.com/elasticsearch.node.cluster.connections
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.cluster.io
|
|
CUMULATIVE , INT64 gce_instance |
direction
|
workload.googleapis.com/elasticsearch.node.disk.io.read
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.disk.io.write
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.documents
|
|
GAUGE , INT64 gce_instance |
state
|
workload.googleapis.com/elasticsearch.node.fs.disk.available
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.fs.disk.free
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.fs.disk.total
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.http.connections
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.ingest.documents
|
|
CUMULATIVE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.ingest.documents.current
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.ingest.operations.failed
|
|
CUMULATIVE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.open_files
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.operations.completed
|
|
CUMULATIVE , INT64 gce_instance |
operation
|
workload.googleapis.com/elasticsearch.node.operations.time
|
|
CUMULATIVE , INT64 gce_instance |
operation
|
workload.googleapis.com/elasticsearch.node.pipeline.ingest.documents.current
|
|
GAUGE , INT64 gce_instance |
name
|
workload.googleapis.com/elasticsearch.node.pipeline.ingest.documents.preprocessed
|
|
GAUGE , INT64 gce_instance |
name
|
workload.googleapis.com/elasticsearch.node.pipeline.ingest.operations.failed
|
|
CUMULATIVE , INT64 gce_instance |
name
|
workload.googleapis.com/elasticsearch.node.script.cache_evictions
|
|
CUMULATIVE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.script.compilation_limit_triggered
|
|
CUMULATIVE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.script.compilations
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.shards.data_set.size
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.shards.reserved.size
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.shards.size
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.thread_pool.tasks.finished
|
|
CUMULATIVE , INT64 gce_instance |
state
thread_pool_name
|
workload.googleapis.com/elasticsearch.node.thread_pool.tasks.queued
|
|
GAUGE , INT64 gce_instance |
thread_pool_name
|
workload.googleapis.com/elasticsearch.node.thread_pool.threads
|
|
GAUGE , INT64 gce_instance |
state
thread_pool_name
|
workload.googleapis.com/elasticsearch.node.translog.operations
|
|
CUMULATIVE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.translog.size
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.node.translog.uncommitted.size
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.os.cpu.load_avg.15m
|
|
GAUGE , DOUBLE gce_instance |
|
workload.googleapis.com/elasticsearch.os.cpu.load_avg.1m
|
|
GAUGE , DOUBLE gce_instance |
|
workload.googleapis.com/elasticsearch.os.cpu.load_avg.5m
|
|
GAUGE , DOUBLE gce_instance |
|
workload.googleapis.com/elasticsearch.os.cpu.usage
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/elasticsearch.os.memory
|
|
GAUGE , INT64 gce_instance |
state
|
Verificar a configuração
Nesta seção, descrevemos como verificar se você configurou corretamente o receptor do Elasticsearch. Pode levar um ou dois minutos para que o agente de operações comece a coletar telemetria.
Para verificar se os registros do Elasticsearch estão sendo enviados para o Cloud Logging, faça o seguinte:
-
No console do Google Cloud, acesse a página do Análise de registros.
Acessar a Análise de registros
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Geração de registros.
- Digite a consulta a seguir no Editor e clique em Executar consulta:
resource.type="gce_instance" (log_id("elasticsearch_json") OR log_id("elasticsearch_gc"))
Para verificar se as métricas do Elasticsearch estão sendo enviadas para o Cloud Monitoring, faça o seguinte:
-
No Console do Google Cloud, acesse a página do leaderboard Metrics Explorer:
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.
- Na barra de ferramentas do painel do criador de consultas, selecione o botão code MQL ou code PromQL.
- Verifique se MQL está selecionado na opção de ativar/desativar Idioma. A alternância de idiomas está na mesma barra de ferramentas que permite formatar sua consulta.
- Digite a consulta a seguir no Editor e clique em Executar consulta:
fetch gce_instance | metric 'workload.googleapis.com/elasticsearch.node.open_files' | every 1m
Ver painel
Para visualizar as métricas do Elasticsearch, é necessário ter um gráfico ou um painel configurado. A integração do Elasticsearch inclui um ou mais painéis para você. Todos os painéis são instalados automaticamente depois que você configura a integração e o Agente de operações começa a coletar dados de métricas.
Também é possível ver visualizações estáticas de painéis sem instalar a integração.
Para ver um painel instalado, faça o seguinte:
-
No console do Google Cloud, acesse a página Painéis:
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.
- Selecione a guia Lista de painéis e escolha a categoria Integrações.
- Clique no nome do painel que você quer visualizar.
Se você configurou uma integração, mas o painel não foi instalado, verifique se o agente de operações está em execução. Quando não há dados de métricas para um gráfico no painel, a instalação do painel falha. Depois que o Agente de operações começar a coletar métricas, o painel será instalado para você.
Para acessar uma visualização estática do painel, faça o seguinte:
-
No console do Google Cloud, acesse a página Integrações:
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.
- Clique no filtro de plataforma de implantação do Compute Engine.
- Localize a entrada do Elasticsearch e clique em Ver detalhes.
- Selecione a guia Painéis para uma visualização estática. Se o painel estiver instalado, navegue até ele clicando em Ver painel.
Para mais informações sobre painéis no Cloud Monitoring, consulte Painéis e gráficos.
Para mais informações sobre como usar a página Integrações, consulte Gerenciar integrações.
Instalar políticas de alertas
As políticas de alertas orientam o Cloud Monitoring a notificar você quando ocorrerem condições especificadas. A integração do Elasticsearch inclui uma ou mais políticas de alertas para você usar. É possível ver e instalar essas políticas de alertas na página Integrações no Monitoring.
Para visualizar e descrever as descrições de políticas de alertas disponíveis, faça o seguinte:
-
No console do Google Cloud, acesse a página Integrações:
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoramento.
- Localize a entrada do Elasticsearch e clique em Ver detalhes.
- Selecione a guia Alertas. Essa guia apresenta descrições das políticas de alertas disponíveis e mostra uma interface para instalá-las.
- Instalar políticas de alertas. As políticas de alertas precisam
saber para onde enviar as notificações de que o alerta foi
acionado. Portanto, elas exigem informações para instalação.
Para instalar políticas de alertas, faça o seguinte:
- Na lista de políticas de alertas disponíveis, selecione aquelas que você quer instalar.
Na seção Configurar notificações, selecione um ou mais canais de notificação. Você pode desativar o uso dos canais de notificação, mas, se isso acontecer, as políticas de alertas vão ser disparadas silenciosamente. É possível verificar o status no Monitoring, mas não receber notificações.
Para saber mais sobre canais de notificação, consulte Gerenciar canais de notificação.
- Clique em Criar políticas.
Para mais informações sobre políticas de alertas no Cloud Monitoring, consulte Introdução a alertas.
Para mais informações sobre como usar a página Integrações, consulte Gerenciar integrações.
A seguir
Para ver um tutorial sobre como usar o Ansible para instalar o agente de operações, configurar um aplicativo de terceiros e instalar um painel de amostra, consulte o vídeo Instalação do agente de operações para resolver problemas de aplicativos de terceiros.