Apache Hadoop

A integração do Apache Hadoop recolhe métricas de nós de nomes relacionadas com o armazenamento, como a utilização da capacidade, os acessos a ficheiros e os blocos. A integração também recolhe registos do Hadoop e analisa-os num payload JSON. O resultado inclui campos para a origem, o nível e a mensagem.

Para mais informações sobre o Hadoop, consulte a documentação do Apache Hadoop.

Pré-requisitos

Para recolher telemetria do Hadoop, tem de instalar o agente de operações:

  • Para métricas, instale a versão 2.11.0 ou superior.
  • Para registos, instale a versão 2.11.0 ou superior.

Esta integração suporta as versões 2.10.x, 3.2.x e 3.3.x do Hadoop.

Configure a sua instância do Hadoop

Para expor um ponto final JMX, tem de definir a propriedade do sistema com.sun.management.jmxremote.port quando iniciar a JVM. Também recomendamos que defina a propriedade do sistema com.sun.management.jmxremote.rmi.port para a mesma porta. Para expôr um ponto final JMX remotamente, também tem de definir a propriedade do sistema java.rmi.server.hostname.

Por predefinição, estas propriedades são definidas no ficheiro hadoop-env.sh de uma implementação do Hadoop.

Para definir propriedades do sistema através de argumentos da linha de comandos, adicione -D antes do nome da propriedade ao iniciar a JVM. Por exemplo, para definir com.sun.management.jmxremote.port para a porta 8004, especifique o seguinte quando iniciar a JVM:

-Dcom.sun.management.jmxremote.port=8004

Configure o agente de operações para o Hadoop

Seguindo o guia para configurar o Ops Agent, adicione os elementos necessários para recolher telemetria de instâncias do Hadoop e reinicie o agente.

Exemplo de configuração

Os seguintes comandos criam a configuração para recolher e carregar telemetria para o Hadoop:

# Configures Ops Agent to collect telemetry from the app. You must restart the agent for the configuration to take effect.

set -e

# Check if the file exists
if [ ! -f /etc/google-cloud-ops-agent/config.yaml ]; then
  # Create the file if it doesn't exist.
  sudo mkdir -p /etc/google-cloud-ops-agent
  sudo touch /etc/google-cloud-ops-agent/config.yaml
fi

# Create a back up of the existing file so existing configurations are not lost.
sudo cp /etc/google-cloud-ops-agent/config.yaml /etc/google-cloud-ops-agent/config.yaml.bak

# Configure the Ops Agent.
sudo tee /etc/google-cloud-ops-agent/config.yaml > /dev/null << EOF
metrics:
  receivers:
    hadoop:
      type: hadoop
      endpoint: service:jmx:rmi:///jndi/rmi://127.0.0.1:8004/jmxrmi
  service:
    pipelines:
      hadoop:
        receivers:
          - hadoop
logging:
  receivers:
    hadoop:
      type: hadoop
  service:
    pipelines:
      hadoop:
        receivers:
          - hadoop
EOF

Para que estas alterações entrem em vigor, tem de reiniciar o agente de operações:

Linux

  1. Para reiniciar o agente, execute o seguinte comando na sua instância: 
    sudo systemctl restart google-cloud-ops-agent
  2. Para confirmar que o agente foi reiniciado, execute o seguinte comando e verifique se os componentes "Agente de métricas" e "Agente de registo" foram iniciados: 
    sudo systemctl status "google-cloud-ops-agent*"

Windows

  1. Estabeleça ligação à sua instância através do RDP ou de uma ferramenta semelhante e inicie sessão no Windows.
  2. Abra um terminal do PowerShell com privilégios de administrador: clique com o botão direito do rato no ícone do PowerShell e selecione Executar como administrador
  3. Para reiniciar o agente, execute o seguinte comando do PowerShell: 
    Restart-Service google-cloud-ops-agent -Force
  4. Para confirmar que o agente foi reiniciado, execute o seguinte comando e verifique se os componentes "Agente de métricas" e "Agente de registo" foram iniciados: 
    Get-Service google-cloud-ops-agent*

Configure a recolha de registos

Para carregar registos do Hadoop, tem de criar um recetor para os registos produzidos pelo Hadoop e, em seguida, criar um pipeline para o novo recetor.

Para configurar um recetor para os seus registos hadoop, especifique os seguintes campos:

Campo Predefinição Descrição
exclude_paths Uma lista de padrões de caminhos do sistema de ficheiros a excluir do conjunto correspondente a include_paths.
include_paths [/opt/hadoop/logs/hadoop-*.log, /opt/hadoop/logs/yarn-*.log] Uma lista de caminhos do sistema de ficheiros a ler através da análise detalhada de cada ficheiro. Pode usar um caráter universal (*) nos caminhos.
record_log_file_path false Se estiver definido como true, o caminho para o ficheiro específico a partir do qual o registo de registo foi obtido aparece na entrada de registo de saída como o valor da etiqueta agent.googleapis.com/log_file_path. Quando usa um caráter universal, apenas é registado o caminho do ficheiro a partir do qual o registo foi obtido.
type Este valor tem de ser hadoop.
wildcard_refresh_interval 60s O intervalo no qual os caminhos de ficheiros com carateres universais em include_paths são atualizados. Indicado como uma duração, por exemplo, 30s ou 2m. Esta propriedade pode ser útil em débitos de registo elevados, em que os ficheiros de registo são rodados mais rapidamente do que o intervalo predefinido.

O que é registado

O logName é derivado dos IDs dos recetores especificados na configuração. Os campos detalhados no interior de LogEntry são os seguintes.

Os registos hadoop contêm os seguintes campos em LogEntry:

Campo Tipo Descrição
jsonPayload.message de string Mensagem de registo
jsonPayload.severity de string Nível de entrada do registo
jsonPayload.source de string A classe Java de origem da entrada do registo
severity string (LogSeverity) Nível de entrada de registo (traduzido).

Configure a recolha de métricas

Para carregar métricas do Hadoop, tem de criar um recetor para as métricas produzidas pelo Hadoop e, em seguida, criar um pipeline para o novo recetor.

Este recetor não suporta a utilização de várias instâncias na configuração, por exemplo, para monitorizar vários pontos finais. Todas essas instâncias escrevem na mesma série cronológica e o Cloud Monitoring não tem forma de as distinguir.

Para configurar um destinatário para as suas métricas hadoop, especifique os seguintes campos:

Campo Predefinição Descrição
collect_jvm_metrics true Configura o recetor para também recolher as métricas de JVM suportadas.
collection_interval 60s Um valor de duração, como 30s ou 5m.
endpoint localhost:8004 O URL do serviço JMX ou o anfitrião e a porta usados para criar o URL do serviço. Este valor tem de estar no formato service:jmx:<protocol>:<sap> ou host:port. Os valores no formato host:port são usados para criar um URL de serviço de service:jmx:rmi:///jndi/rmi://<host>:<port>/jmxrmi.
password A palavra-passe configurada se o JMX estiver configurado para exigir autenticação.
type Este valor tem de ser hadoop.
username O nome de utilizador configurado se o JMX estiver configurado para exigir autenticação.

O que é monitorizado

A tabela seguinte apresenta a lista de métricas que o agente de operações recolhe da instância do Hadoop.

Tipo de métrica
Tipo, Tipo
Recursos monitorizados		 Etiquetas
workload.googleapis.com/hadoop.name_node.block.corrupt
GAUGE, INT64
gce_instance 		node_name
workload.googleapis.com/hadoop.name_node.block.count
GAUGE, INT64
gce_instance 		node_name
workload.googleapis.com/hadoop.name_node.block.missing
GAUGE, INT64
gce_instance 		node_name
workload.googleapis.com/hadoop.name_node.capacity.limit
GAUGE, INT64
gce_instance 		node_name
workload.googleapis.com/hadoop.name_node.capacity.usage
GAUGE, INT64
gce_instance 		node_name
workload.googleapis.com/hadoop.name_node.data_node.count
GAUGE, INT64
gce_instance 		node_name
state
workload.googleapis.com/hadoop.name_node.file.load
GAUGE, INT64
gce_instance 		node_name
workload.googleapis.com/hadoop.name_node.volume.failed
GAUGE, INT64
gce_instance 		node_name

Valide a configuração

Esta secção descreve como verificar se configurou corretamente o recetor do Hadoop. O agente de operações pode demorar um ou dois minutos a começar a recolher telemetria.

Para verificar se os registos do Hadoop estão a ser enviados para o Cloud Logging, faça o seguinte:

  1. Na Google Cloud consola, aceda à página Explorador de registos:

    Aceda ao Explorador de registos

    Se usar a barra de pesquisa para encontrar esta página, selecione o resultado cuja legenda é Registo.

  2. Introduza a seguinte consulta no editor e, de seguida, clique em Executar consulta: 
    resource.type="gce_instance"
log_id("hadoop")

Para verificar se as métricas do Hadoop estão a ser enviadas para o Cloud Monitoring, faça o seguinte:

  1. Na Google Cloud consola, aceda à página  Explorador de métricas:

    Aceda ao Metrics Explorer

    Se usar a barra de pesquisa para encontrar esta página, selecione o resultado cujo subtítulo é Monitorização.

  2. Na barra de ferramentas do painel do criador de consultas, selecione o botão cujo nome é  MQL ou  PromQL.
  3. Verifique se a opção PromQL está selecionada no botão Idioma. O botão para alternar o idioma encontra-se na mesma barra de ferramentas que lhe permite formatar a consulta.
  4. Introduza a seguinte consulta no editor e, de seguida, clique em Executar consulta: 
    {"workload.googleapis.com/hadoop.name_node.capacity.usage", monitored_resource="gce_instance"}

Ver o painel de controlo

Para ver as métricas do Hadoop, tem de ter um gráfico ou um painel de controlo configurado. A integração do Hadoop inclui um ou mais painéis de controlo para si. Todos os painéis de controlo são instalados automaticamente depois de configurar a integração e o agente de operações começar a recolher dados de métricas.

Também pode ver pré-visualizações estáticas de painéis de controlo sem instalar a integração.

Para ver um painel de controlo instalado, faça o seguinte:

  1. Na Google Cloud consola, aceda à página  Painéis de controlo:

    Aceda a Painéis de controlo

    Se usar a barra de pesquisa para encontrar esta página, selecione o resultado cujo subtítulo é Monitorização.

  2. Selecione o separador Lista de painéis de controlo e, de seguida, escolha a categoria Integrações.
  3. Clique no nome do painel de controlo que quer ver.

Se configurou uma integração, mas o painel de controlo não foi instalado, verifique se o agente de operações está em execução. Quando não existem dados de métricas para um gráfico no painel de controlo, a instalação do painel de controlo falha. Depois de o agente de operações começar a recolher métricas, o painel de controlo é instalado para si.

Para ver uma pré-visualização estática do painel de controlo, faça o seguinte:

  1. Na Google Cloud consola, aceda à página  Integrações:

    Aceda a Integrações

    Se usar a barra de pesquisa para encontrar esta página, selecione o resultado cujo subtítulo é Monitorização.

  2. Clique no filtro da plataforma de implementação Compute Engine.
  3. Localize a entrada para Hadoop e clique em Ver detalhes.
  4. Selecione o separador Painéis de controlo para ver uma pré-visualização estática. Se o painel de controlo estiver instalado, pode navegar até ele clicando em Ver painel de controlo.

Para mais informações acerca dos painéis de controlo no Cloud Monitoring, consulte o artigo Painéis de controlo e gráficos.

Para mais informações sobre como usar a página Integrações, consulte o artigo Gerir integrações.

Instale políticas de alerta

As políticas de alerta indicam ao Cloud Monitoring que lhe envie uma notificação quando ocorrerem condições especificadas. A integração do Hadoop inclui uma ou mais políticas de alerta para sua utilização. Pode ver e instalar estas políticas de alerta na página Integrações em Monitorização.

Para ver as descrições das políticas de alerta disponíveis e instalá-las, faça o seguinte:

  1. Na Google Cloud consola, aceda à página  Integrações:

    Aceda a Integrações

    Se usar a barra de pesquisa para encontrar esta página, selecione o resultado cujo subtítulo é Monitorização.

  2. Localize a entrada para Hadoop e clique em Ver detalhes.
  3. Selecione o separador Alertas. Este separador apresenta descrições das políticas de alerta disponíveis e uma interface para as instalar.
  4. Instale políticas de alerta. As políticas de alerta precisam de saber para onde enviar notificações de que o alerta foi acionado, pelo que requerem informações suas para a instalação. Para instalar políticas de alerta, faça o seguinte:
    1. Na lista de políticas de alerta disponíveis, selecione as que quer instalar.

    2. Na secção Configurar notificações, selecione um ou mais canais de notificação. Tem a opção de desativar a utilização de canais de notificação, mas, se o fizer, as suas políticas de alerta são acionadas silenciosamente. Pode verificar o respetivo estado em Monitorização, mas não recebe notificações.

      Para mais informações sobre os canais de notificação, consulte o artigo Faça a gestão dos canais de notificação.

    3. Clique em Criar políticas.

Para mais informações sobre as políticas de alerta no Cloud Monitoring, consulte o artigo Introdução aos alertas.

Para mais informações sobre como usar a página Integrações, consulte o artigo Gerir integrações.

O que se segue?

Para ver um passo a passo sobre como usar o Ansible para instalar o agente de operações, configurar uma aplicação de terceiros e instalar um painel de controlo de exemplo, consulte o vídeo Instale o agente de operações para resolver problemas de aplicações de terceiros.