A integração do Apache HBase coleta métricas de cluster de servidores master
e
de região. As métricas do servidor da região estão relacionadas ao armazenamento, à solicitação e à latência. A integração também coleta registros de servidor de região e master
e os analisa em um payload JSON. O resultado inclui
campos para origem, nível e mensagem.
Para mais informações sobre o HBase, consulte a documentação do Apache HBase.
Pré-requisitos
Para coletar a telemetria do RabbitMQ, instale o Agente de operações:
- Para métricas, instale a versão 2.11.0 ou mais recente.
- Para registros, instale a versão 2.11.0 ou mais recente.
Essa integração é compatível com as versões 1.7.x, 2.3.x e 2.4.x do HBase.
Configurar a instância do HBase
Para expor um endpoint JMX, você precisa definir a propriedade do sistema com.sun.management.jmxremote.port
ao iniciar a JVM. Também recomendamos configurar a propriedade do sistema com.sun.management.jmxremote.rmi.port
para a mesma porta. Para
expor um endpoint JMX remotamente, você também precisa definir
a propriedade do sistema java.rmi.server.hostname
.
Por padrão, essas propriedades são definidas em um arquivo hbase-env.sh
da implantação
do HBase.
Para definir as propriedades do sistema usando argumentos de linha de comando, adicione -D
ao nome da propriedade ao iniciar a JVM. Por exemplo, para definir
com.sun.management.jmxremote.port
na porta 10101
, especifique o seguinte ao iniciar a
JVM:
-Dcom.sun.management.jmxremote.port=10101
Configurar o agente de operações para HBase
Seguindo o guia para Configurar o Agente Agente, adicione os elementos necessários para coletar telemetria de instâncias do HBase e reinicie o agente.
Exemplo de configuração
Os comandos a seguir criam a configuração para coletar e ingerir a telemetria para HBase e reinicie o Agente de operações.
Configurar a coleta de registros
Para ingerir registros do HBase, você precisa criar um receptor para os registros que o HBase produz e cria um pipeline para o novo receptor.
hbase_system
Para configurar um receptor para os registros , especifique os seguintes campos:
Campo | Padrão | Descrição |
---|---|---|
exclude_paths |
Uma lista de padrões de caminho do sistema de arquivos a serem excluídos do conjunto correspondente a include_paths . |
|
include_paths |
[/opt/hbase/logs/hbase-*-regionserver-*.log, /opt/hbase/logs/hbase-*-master-*.log] |
Uma lista de caminhos do sistema de arquivos a serem lidos acompanhando cada
arquivo. Um caractere curinga (* ) pode ser usado nos caminhos. por exemplo, /var/log/hbase*/*.log . |
record_log_file_path |
false |
Se definido como true , o caminho para o arquivo específico de que a gravação de registro foi recebida aparecerá na entrada de registro de saída como o valor do rótulo agent.googleapis.com/log_file_path . Ao usar um caractere curinga, apenas o caminho do arquivo de que o registro foi recebido é gravado. |
type |
Este valor precisa ser hbase_system . |
|
wildcard_refresh_interval |
60s |
O intervalo em que os caminhos de arquivos curinga no include_paths são atualizados. Dado como uma duração de tempo, por exemplo, 30s ou 2m . Essa propriedade pode ser útil com capacidades de registro altas em que os arquivos de registro são alternados mais rapidamente do que o intervalo padrão. |
O que é registrado
O logName
é derivado dos
IDs do receptor especificados na configuração. Os campos
detalhados dentro de LogEntry
são os seguintes.
Os registros hbase_system
contêm os seguintes campos no LogEntry
:
Campo | Tipo | Descrição |
---|---|---|
jsonPayload.level |
string | Nível de entrada de registro |
jsonPayload.message |
string | Mensagem de registro, incluindo stacktrace detalhado, quando fornecido |
jsonPayload.module |
string | Módulo do HBase em que o registro foi originado. |
jsonPayload.source |
string | Origem da origem do registro |
severity |
string (LogSeverity ) |
Nível de entrada de registro (traduzido). |
Configurar a coleta de métricas
Para ingerir métricas do HBase, crie um receptor para as métricas produzidas pelo HBase e, em seguida, crie um pipeline para o novo receptor.
Esse receptor não aceita o uso de várias instâncias na configuração, por exemplo, para monitorar vários endpoints. Todas essas instâncias gravam na mesma série temporal, e o Cloud Monitoring não tem como diferenciá-las.
Para configurar um receptor para suas
métricas do hbase
, especifique os campos
a seguir:
Campo | Padrão | Descrição |
---|---|---|
collect_jvm_metrics |
true |
Configura o receptor para coletar as métricas do JVM compatíveis. |
collection_interval |
60s |
Um valor de time.Duration, como 30s ou 5m . |
endpoint |
localhost:10101 |
O URL do serviço JMX ou o host e a porta usados para criar o URL do serviço. Esse valor precisa estar na forma de service:jmx:<protocol>:<sap> ou host:port . Os valores no formato host:port são usados para criar um URL de serviço de service:jmx:rmi:///jndi/rmi://<host>:<port>/jmxrmi . |
password |
Senha configurada se o JMX estiver configurado para exigir autenticação. | |
type |
Este valor precisa ser hbase . |
|
username |
O nome de usuário configurado se o JMX estiver configurado para exigir autenticação. |
O que é monitorado?
A tabela a seguir fornece a lista de métricas que o agente de operações coleta da instância do HBase.
Tipo de métrica | |
---|---|
Tipo, tipo Recursos monitorados |
Rótulos |
workload.googleapis.com/hbase.master.region_server.count
|
|
GAUGE , INT64 gce_instance |
state
|
workload.googleapis.com/hbase.master.regions_in_transition.count
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/hbase.master.regions_in_transition.oldest_age
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/hbase.master.regions_in_transition.over_threshold
|
|
GAUGE , INT64 gce_instance |
|
workload.googleapis.com/hbase.region_server.active_handler.count
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.authentication.count
|
|
GAUGE , INT64 gce_instance |
region_server state
|
workload.googleapis.com/hbase.region_server.block_cache.operation.count
|
|
GAUGE , INT64 gce_instance |
region_server state
|
workload.googleapis.com/hbase.region_server.blocked_update.time
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.disk.store_file.count
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.disk.store_file.size
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.files.local
|
|
GAUGE , DOUBLE gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.gc.old_gen.time
|
|
CUMULATIVE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.gc.time
|
|
CUMULATIVE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.gc.young_gen.time
|
|
CUMULATIVE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.open_connection.count
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.append.latency.max
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.append.latency.mean
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.append.latency.median
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.append.latency.min
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.append.latency.p99
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.delete.latency.max
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.delete.latency.mean
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.delete.latency.median
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.delete.latency.min
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.delete.latency.p99
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.get.latency.max
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.get.latency.mean
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.get.latency.median
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.get.latency.min
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.get.latency.p99
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.increment.latency.max
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.increment.latency.mean
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.increment.latency.median
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.increment.latency.min
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.increment.latency.p99
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.put.latency.max
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.put.latency.mean
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.put.latency.median
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.put.latency.min
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.put.latency.p99
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.replay.latency.max
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.replay.latency.mean
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.replay.latency.median
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.replay.latency.min
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operation.replay.latency.p99
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.operations.slow
|
|
GAUGE , INT64 gce_instance |
operation region_server
|
workload.googleapis.com/hbase.region_server.queue.length
|
|
GAUGE , INT64 gce_instance |
region_server state
|
workload.googleapis.com/hbase.region_server.queue.request.count
|
|
GAUGE , INT64 gce_instance |
region_server state
|
workload.googleapis.com/hbase.region_server.region.count
|
|
GAUGE , INT64 gce_instance |
region_server
|
workload.googleapis.com/hbase.region_server.request.count
|
|
GAUGE , INT64 gce_instance |
region_server state
|
workload.googleapis.com/hbase.region_server.write_ahead_log.count
|
|
GAUGE , INT64 gce_instance |
region_server
|
Verificar a configuração
Nesta seção, descrevemos como verificar se você configurou corretamente o receptor do CouchDB. Pode levar um ou dois minutos para que o agente de operações comece a coletar telemetria.
Para verificar se os registros do HBase estão sendo enviados para o Cloud Logging, faça o seguinte:
-
No console do Google Cloud, acesse a página do Análise de registros.
Acessar a Análise de registros
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Geração de registros.
- Digite a consulta a seguir no Editor e clique em Executar consulta:
resource.type="gce_instance" log_id("hbase_system")
Para verificar se as métricas do HBase estão sendo enviadas para o Cloud Monitoring, faça o seguinte:
-
No Console do Google Cloud, acesse a página do leaderboard Metrics Explorer:
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.
- Na barra de ferramentas do painel do criador de consultas, selecione o botão code MQL ou code PromQL.
- Verifique se MQL está selecionado na opção de ativar/desativar Idioma. A alternância de idiomas está na mesma barra de ferramentas que permite formatar sua consulta.
- Digite a consulta a seguir no Editor e clique em Executar consulta:
fetch gce_instance | metric 'workload.googleapis.com/hbase.region_server.operation.append.latency.p99' | every 1m
Ver painel
Para visualizar as métricas do HBase, é necessário ter um gráfico ou um painel configurado. A integração do HBase inclui um ou mais painéis para você. Todos os painéis são instalados automaticamente depois que você configura a integração e o Agente de operações começa a coletar dados de métricas.
Também é possível ver visualizações estáticas de painéis sem instalar a integração.
Para ver um painel instalado, faça o seguinte:
-
No console do Google Cloud, acesse a página
Painéis:
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.
- Selecione a guia Lista de painéis e escolha a categoria Integrações.
- Clique no nome do painel que você quer visualizar.
Se você configurou uma integração, mas o painel não foi instalado, verifique se o agente de operações está em execução. Quando não há dados de métricas para um gráfico no painel, a instalação do painel falha. Depois que o Agente de operações começar a coletar métricas, o painel será instalado para você.
Para acessar uma visualização estática do painel, faça o seguinte:
-
No console do Google Cloud, acesse a página
Integrações:
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.
- Clique no filtro de plataforma de implantação do Compute Engine.
- Localize a entrada para HBase e clique em Ver detalhes.
- Selecione a guia Painéis para uma visualização estática. Se o painel estiver instalado, navegue até ele clicando em Ver painel.
Para mais informações sobre painéis no Cloud Monitoring, consulte Painéis e gráficos.
Para mais informações sobre como usar a página Integrações, consulte Gerenciar integrações.
Instalar políticas de alertas
As políticas de alertas orientam o Cloud Monitoring a notificar você quando ocorrerem condições especificadas. A integração do HBase inclui uma ou mais políticas de alertas para você usar. É possível ver e instalar essas políticas de alertas na página Integrações no Monitoring.
Para visualizar e descrever as descrições de políticas de alertas disponíveis, faça o seguinte:
-
No console do Google Cloud, acesse a página
Integrações:
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoramento.
- Localize a entrada para HBase e clique em Ver detalhes.
- Selecione a guia Alertas. Essa guia apresenta descrições das políticas de alertas disponíveis e mostra uma interface para instalá-las.
- Instalar políticas de alertas. As políticas de alertas precisam
saber para onde enviar as notificações de que o alerta foi
acionado. Portanto, elas exigem informações para instalação.
Para instalar políticas de alertas, faça o seguinte:
- Na lista de políticas de alertas disponíveis, selecione aquelas que você quer instalar.
Na seção Configurar notificações, selecione um ou mais canais de notificação. Você pode desativar o uso dos canais de notificação, mas, se isso acontecer, as políticas de alertas vão ser disparadas silenciosamente. É possível verificar o status no Monitoring, mas não receber notificações.
Para saber mais sobre canais de notificação, consulte Gerenciar canais de notificação.
- Clique em Criar políticas.
Para mais informações sobre políticas de alertas no Cloud Monitoring, consulte Introdução a alertas.
Para mais informações sobre como usar a página Integrações, consulte Gerenciar integrações.
A seguir
Para ver um tutorial sobre como usar o Ansible para instalar o agente de operações, configurar um aplicativo de terceiros e instalar um painel de amostra, consulte o vídeo Instalação do agente de operações para resolver problemas de aplicativos de terceiros.