Esta página foi traduzida pela API Cloud Translation.
Switch to English

Cloud Monitoring

O Cloud Monitoring fornece visibilidade do desempenho, do tempo de atividade e da integridade geral dos aplicativos com tecnologia de nuvem. O pacote de operações do Google Cloud coleta e ingere métricas, eventos e metadados de clusters do Dataproc, incluindo métricas de HDFS, YARN, job e operação por cluster, para gerar insights por meio de painéis e gráficos (consulte { 101}Métricas do Dataproc do Cloud Monitoring .

Use as métricas do cluster do Cloud Monitoring para monitorar o desempenho e a integridade dos clusters do Dataproc.

Métricas do cluster do Cloud Monitoring

As métricas do recurso do cluster do Dataproc são ativadas automaticamente em clusters do Dataproc. Use o Monitoring para ver essas métricas.

Você pode acessar o Monitoring a partir do Console do Google Cloud ou usando a API Monitoring.

Console

  1. Depois de criar um cluster, acesse o Monitoring no Console do Cloud para ver os dados de monitoramento do cluster.

    Se você nunca usou o Cloud Monitoring, no primeiro acesso ao Monitoring no Console do Google Cloud, um espaço de trabalho será criado automaticamente e seu projeto será associado a ele. Caso contrário, se o seu projeto não estiver associado a um espaço de trabalho, uma caixa de diálogo será exibida, e será possível criar um espaço de trabalho ou adicionar seu projeto a um espaço de trabalho atual. Recomendamos que você crie um espaço de trabalho. Depois de fazer a seleção, clique em Adicionar.

    Depois que o console do Monitoring aparecer, você poderá instalar o agente do Monitoring em VMs no seu projeto como uma etapa adicional de configuração. Não é necessário instalar o agente em VMs em clusters do Dataproc porque essa etapa é executada quando você cria um cluster do Dataproc.

  2. Selecione Metrics Explorer. Na lista suspensa "Find resource type and metric", selecione o recurso “Cloud Dataproc Cluster” ou digite "cloud_dataproc_cluster" na caixa.
  3. Clique novamente na caixa de entrada e selecione uma métrica na lista suspensa. Na próxima captura de tela, "YARN memory size" está selecionado. Passe o mouse sobre o nome da métrica para ver informações sobre ela.

    Você pode selecionar filtros, agrupar por marcadores de métricas, executar agregações e selecionar opções de exibição de gráficos. Consulte a documentação do Monitoring.

API

Você pode usar a API timeSeries.list do Monitoring para capturar e listar métricas definidas por uma expressão filter. Use o modelo Try this API na página da API para enviar uma solicitação de API e exibir a resposta.

Exemplo: veja o snapshot de uma solicitação de modelo e a resposta JSON retornada para os seguintes parâmetros timeSeries.list do Monitoring:

  • name: projects/example-project-id
  • filter: metric.type="dataproc.googleapis.com/cluster/hdfs/storage_capacity"
  • interval.endTime: 2018-02-27T11:54:00.000-08:00
  • interval.startTime: 2018-02-20T00:00:00.000-08:00

Como criar um painel personalizado do Monitoring

Você pode criar um painel personalizado do Monitoring com gráficos de métricas do cluster do Cloud Dataproc selecionadas.

  1. Selecione + CREATE DASHBOARD na página Dashboards Overview do Monitoring. Forneça um nome para o painel e clique em Add Chart no menu superior direito para abrir a janela Add Chart. Selecione “Cloud Dataproc Cluster” como o tipo de recurso. Selecione uma ou mais métricas e propriedades para métricas e gráficos. Em seguida, salve o gráfico.

  2. É possível adicionar gráficos ao seu painel. Depois que você salvar o painel, seu título aparecerá na página Dashboards Overview do Monitoring. Os gráficos do painel podem ser exibidos, atualizados e excluídos a partir da página de exibição do painel.

Como usar os alertas do Monitoring

Você pode criar um alerta do Monitoring para notificar quando a métrica de um job ou cluster do Dataproc ultrapassar um limite especificado, por exemplo, quando a capacidade livre de HDFS estiver baixa.

Como criar um alerta

  1. Abra Monitoring Alerting no Console do Cloud. Clique em + CREATE POLICY para abrir o formulário Create new alerting policy. Para definir um alerta, adicione condições de alerta, acionadores de política, canais de notificação e documentação.

  2. Selecione ADD CONDITION para abrir o formulário de condição de alerta com a guia "Metric" selecionada. Preencha os campos para definir uma condição de alerta e clique em ADD. A condição de alerta de exemplo mostrada abaixo será acionada quando a capacidade do HDFS do cluster do Dataproc ficar abaixo do limite de 930 GiB (GB binário) especificado (998.579.896.320 bytes) por 1 minuto.

  3. Depois de adicionar a condição de alerta, preencha a política de alerta configurando canais de notificação, acionadores de política, documentação e o nome da política de alerta.

Como visualizar alertas

Quando um alerta é acionado por uma condição de limite de métrica, o Monitoring cria um incidente e um evento correspondente. Você pode ver os incidentes na página Monitoring Alerting no Console do Cloud. O Monitoring também envia uma notificação do incidente se tiver sido definido na política de alerta algum mecanismo de notificação, como notificações por e-mail ou por SMS.

A seguir