A integração do Apache Hadoop coleta métricas de nó de nome relacionadas ao armazenamento, como utilização de capacidade, acessos a arquivos e blocos. A integração também coleta registros do Hadoop e os analisa em um payload JSON. O resultado inclui campos para origem, nível e mensagem.
Para mais informações sobre o Hadoop, consulte a documentação do Apache Hadoop.
Pré-requisitos
Para coletar a telemetria do RabbitMQ, instale o Agente de operações:
- Para métricas, instale a versão 2.11.0 ou mais recente.
- Para registros, instale a versão 2.11.0 ou mais recente.
Essa integração é compatível com as versões 2.10.x, 3.2.x e 3.3.x do Hadoop.
Configurar a instância do Hadoop
Para expor um endpoint JMX, você precisa definir a propriedade do sistema com.sun.management.jmxremote.port
ao iniciar a JVM. Também recomendamos configurar a propriedade do sistema com.sun.management.jmxremote.rmi.port
para a mesma porta. Para
expor um endpoint JMX remotamente, você também precisa definir
a propriedade do sistema java.rmi.server.hostname
.
Por padrão, essas propriedades são definidas em um arquivo hadoop-env.sh
da implantação
do Hadoop.
Para definir as propriedades do sistema usando argumentos de linha de comando, adicione -D
ao nome da propriedade ao iniciar a JVM. Por exemplo, para definir
com.sun.management.jmxremote.port
na porta 8004
, especifique o seguinte ao iniciar a
JVM:
-Dcom.sun.management.jmxremote.port=8004
Configure o agente de operações para Hadoop
Seguindo o guia para Configurar o Agente Agente, adicione os elementos necessários para coletar telemetria de instâncias do Hadoop reinicie o agente.
Exemplo de configuração
Os comandos a seguir criam a configuração para coletar e ingerir a telemetria para Hadoop e reinicie o Agente de operações.
Configurar a coleta de registros
Para ingerir registros do Hadoop, você precisa criar um receptor para os registros que o Hadoop produz e criar um pipeline para o novo receptor.
hadoop
Para configurar um receptor para os registros , especifique os seguintes campos:
Campo | Padrão | Descrição |
---|---|---|
exclude_paths |
Uma lista de padrões de caminho do sistema de arquivos a serem excluídos do conjunto correspondente a include_paths . |
|
include_paths |
[/opt/hadoop/logs/hadoop-*.log, /opt/hadoop/logs/yarn-*.log] |
Uma lista de caminhos do sistema de arquivos a serem lidos acompanhando cada
arquivo. Um caractere curinga (* ) pode ser usado nos caminhos. |
record_log_file_path |
false |
Se definido como true , o caminho para o arquivo específico de que a gravação de registro foi recebida aparecerá na entrada de registro de saída como o valor do identificador agent.googleapis.com/log_file_path . Ao usar um caractere curinga, apenas o caminho do arquivo de que o registro foi recebido é gravado. |
type |
Este valor precisa ser hadoop . |
|
wildcard_refresh_interval |
60s |
O intervalo em que os caminhos de arquivos curinga no include_paths são atualizados. Dado como uma duração de tempo, por exemplo, 30s ou 2m . Essa propriedade pode ser útil com capacidades de registro altas em que os arquivos de registro são alternados mais rapidamente do que o intervalo padrão. |
O que é registrado
O logName
é derivado dos
IDs do receptor especificados na configuração. Os campos
detalhados dentro de LogEntry
são os seguintes.
Os registros hadoop
contêm os seguintes campos no LogEntry
:
Campo | Tipo | Descrição |
---|---|---|
jsonPayload.message |
string | Mensagem de registro |
jsonPayload.severity |
string | Nível de entrada de registro |
jsonPayload.source |
string | A classe Java de origem da entrada de registro. |
severity |
string (LogSeverity ) |
Nível de entrada de registro (traduzido). |
Configurar a coleta de métricas
Para ingerir métricas do Hadoop, você precisa criar um receptor para as métricas produzidas pelo Hadoop e, em seguida, criar um pipeline para o novo receptor.
Esse receptor não aceita o uso de várias instâncias na configuração, por exemplo, para monitorar vários endpoints. Todas essas instâncias gravam na mesma série temporal, e o Cloud Monitoring não tem como diferenciá-las.
Para configurar um receptor para suas
métricas do hadoop
, especifique os campos
a seguir:
Campo | Padrão | Descrição |
---|---|---|
collect_jvm_metrics |
true |
Configura o receptor para coletar as métricas do JVM compatíveis. |
collection_interval |
60s |
Um valor de time.Duration, como 30s ou 5m . |
endpoint |
localhost:8004 |
O URL do serviço JMX ou o host e a porta usados para criar o URL do serviço. Esse valor precisa estar na forma de service:jmx:<protocol>:<sap> ou host:port . Os valores no formato host:port são usados para criar um URL de serviço de service:jmx:rmi:///jndi/rmi://<host>:<port>/jmxrmi . |
password |
Senha configurada se o JMX estiver configurado para exigir autenticação. | |
type |
Este valor precisa ser hadoop . |
|
username |
O nome de usuário configurado se o JMX estiver configurado para exigir autenticação. |
O que é monitorado?
A tabela a seguir fornece a lista de métricas que o agente de operações coleta da instância do Hadoop.
Tipo de métrica | |
---|---|
Tipo, tipo Recursos monitorados |
Rótulos |
workload.googleapis.com/hadoop.name_node.block.corrupt
|
|
GAUGE , INT64 gce_instance |
node_name
|
workload.googleapis.com/hadoop.name_node.block.count
|
|
GAUGE , INT64 gce_instance |
node_name
|
workload.googleapis.com/hadoop.name_node.block.missing
|
|
GAUGE , INT64 gce_instance |
node_name
|
workload.googleapis.com/hadoop.name_node.capacity.limit
|
|
GAUGE , INT64 gce_instance |
node_name
|
workload.googleapis.com/hadoop.name_node.capacity.usage
|
|
GAUGE , INT64 gce_instance |
node_name
|
workload.googleapis.com/hadoop.name_node.data_node.count
|
|
GAUGE , INT64 gce_instance |
node_name state
|
workload.googleapis.com/hadoop.name_node.file.load
|
|
GAUGE , INT64 gce_instance |
node_name
|
workload.googleapis.com/hadoop.name_node.volume.failed
|
|
GAUGE , INT64 gce_instance |
node_name
|
Verificar a configuração
Nesta seção, descrevemos como verificar se você configurou corretamente o receptor do CouchDB. Pode levar um ou dois minutos para que o agente de operações comece a coletar telemetria.
Para verificar se os registros do Hadoop estão sendo enviados para o Cloud Logging, faça o seguinte:
-
No console do Google Cloud, acesse a página do Análise de registros.
Acessar a Análise de registros
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Geração de registros.
- Digite a consulta a seguir no Editor e clique em Executar consulta:
resource.type="gce_instance" log_id("hadoop")
Para verificar se as métricas do Hadoop estão sendo enviadas para o Cloud Monitoring, faça o seguinte:
-
No Console do Google Cloud, acesse a página do leaderboard Metrics Explorer:
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.
- Na barra de ferramentas do painel do criador de consultas, selecione o botão code MQL ou code PromQL.
- Verifique se MQL está selecionado na opção de ativar/desativar Idioma. A alternância de idiomas está na mesma barra de ferramentas que permite formatar sua consulta.
- Digite a consulta a seguir no Editor e clique em Executar consulta:
fetch gce_instance | metric 'workload.googleapis.com/hadoop.name_node.capacity.usage' | every 1m
Ver painel
Para visualizar as métricas do PostgreSQL, é necessário ter um gráfico ou um painel configurado. A integração do Hadoop inclui um ou mais painéis para você. Todos os painéis são instalados automaticamente depois que você configura a integração e o Agente de operações começa a coletar dados de métricas.
Também é possível ver visualizações estáticas de painéis sem instalar a integração.
Para ver um painel instalado, faça o seguinte:
-
No console do Google Cloud, acesse a página
Painéis:
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.
- Selecione a guia Lista de painéis e escolha a categoria Integrações.
- Clique no nome do painel que você quer visualizar.
Se você configurou uma integração, mas o painel não foi instalado, verifique se o agente de operações está em execução. Quando não há dados de métricas para um gráfico no painel, a instalação do painel falha. Depois que o Agente de operações começar a coletar métricas, o painel será instalado para você.
Para acessar uma visualização estática do painel, faça o seguinte:
-
No console do Google Cloud, acesse a página
Integrações:
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.
- Clique no filtro de plataforma de implantação do Compute Engine.
- Localize a entrada para Hadoop e clique em Ver detalhes.
- Selecione a guia Painéis para uma visualização estática. Se o painel estiver instalado, navegue até ele clicando em Ver painel.
Para mais informações sobre painéis no Cloud Monitoring, consulte Painéis e gráficos.
Para mais informações sobre como usar a página Integrações, consulte Gerenciar integrações.
Instalar políticas de alertas
As políticas de alertas orientam o Cloud Monitoring a notificar você quando ocorrerem condições especificadas. A integração do Hadoop inclui uma ou mais políticas de alertas para você usar. É possível ver e instalar essas políticas de alertas na página Integrações no Monitoring.
Para visualizar e descrever as descrições de políticas de alertas disponíveis, faça o seguinte:
-
No console do Google Cloud, acesse a página
Integrações:
Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoramento.
- Localize a entrada para Hadoop e clique em Ver detalhes.
- Selecione a guia Alertas. Essa guia apresenta descrições das políticas de alertas disponíveis e mostra uma interface para instalá-las.
- Instalar políticas de alertas. As políticas de alertas precisam
saber para onde enviar as notificações de que o alerta foi
acionado. Portanto, elas exigem informações para instalação.
Para instalar políticas de alertas, faça o seguinte:
- Na lista de políticas de alertas disponíveis, selecione aquelas que você quer instalar.
Na seção Configurar notificações, selecione um ou mais canais de notificação. Você pode desativar o uso dos canais de notificação, mas, se isso acontecer, as políticas de alertas vão ser disparadas silenciosamente. É possível verificar o status no Monitoring, mas não receber notificações.
Para saber mais sobre canais de notificação, consulte Gerenciar canais de notificação.
- Clique em Criar políticas.
Para mais informações sobre políticas de alertas no Cloud Monitoring, consulte Introdução a alertas.
Para mais informações sobre como usar a página Integrações, consulte Gerenciar integrações.
A seguir
Para ver um tutorial sobre como usar o Ansible para instalar o agente de operações, configurar um aplicativo de terceiros e instalar um painel de amostra, consulte o vídeo Instalação do agente de operações para resolver problemas de aplicativos de terceiros.