Stackdriver Monitoring

O Stackdriver Monitoring permite ver o desempenho, o tempo de atividade e a integridade geral de aplicativos com tecnologia de nuvem. O Stackdriver coleta e ingere métricas, eventos e metadados de clusters do Cloud Dataproc para gerar insights por meio de painéis e gráficos.

Use as métricas de cluster do Stackdriver para monitorar o desempenho e a integridade dos clusters do Cloud Dataproc.

Métricas do cluster do Stackdriver

As métricas do recurso de cluster do Cloud Dataproc são ativadas automaticamente nos clusters do Cloud Dataproc. Use o Monitoring para ver essas métricas.

É possível acessar o Monitoring no console ou usando a API Monitoring.

Console

Depois de criar um cluster, acesse o console do Monitoring para visualizar os dados de monitoramento do cluster.

No primeiro acesso ao Monitoring você é solicitado a criar um espaço de trabalho e selecionar um projeto. Opcionalmente, você pode instalar o agente do Monitoring em VMs do projeto como uma etapa adicional de configuração. Não é preciso instalar o agente em VMs nos clusters do Cloud Dataproc, porque essa etapa é executada quando você cria um cluster do Cloud Dataproc.

O console do Monitoring é exibido depois que o espaço de trabalho é configurado.

Selecione ResourcesMetrics Explorer e clique na caixa de entrada "Find resource type and metric" para exibir a lista suspensa de recursos. Selecione o recurso "Cloud Dataproc Cluster" (ou digite "cloud_dataproc_cluster" na caixa).

Clique novamente na caixa de entrada e selecione uma métrica na lista suspensa. Na próxima captura de tela, "YARN memory size" está selecionado. Passe o mouse sobre o nome da métrica para ver informações sobre ela.

Você pode selecionar filtros, agrupar por marcadores de métricas, executar agregações e selecionar opções de exibição de gráficos. Consulte a documentação do Monitoring.

API

É possível usar a API timeSeries.list do Monitoring para coletar e listar métricas definidas por uma expressão filter. Use o modelo Try this API na página da API para enviar uma solicitação de API e exibir a resposta.

Por exemplo: veja um instantâneo de uma solicitação de modelo e da resposta JSON retornada para os seguintes parâmetros timeSeries.list do Monitoring:

  • name: projects/example-project-id
  • filter: metric.type="dataproc.googleapis.com/cluster/hdfs/storage_capacity"
  • interval.endTime: 2018-02-27T11:54:00.000-08:00
  • interval.startTime: 2018-02-20T00:00:00.000-08:00

Como criar um painel personalizado do Monitoring

Você pode criar um painel personalizado do Monitoring com gráficos de métricas do cluster do Cloud Dataproc selecionadas.

  1. Selecione Dashboards→Create Dashboard no console do Monitoring.

  2. Um "Untitled Dashboard" é aberto. Clique em Add Chart. Na janela "Add Chart", selecione "Cloud Dataproc Cluster" como o tipo de recurso. Selecione uma ou mais métricas e propriedades para métricas e gráficos. Confirme ou digite um novo título para o gráfico e clique em Save.

  3. É possível adicionar gráficos ao seu painel. Depois de clicar em Save, o título do painel aparece no menu Dashboards do Monitoring.

  4. Os gráficos do painel podem ser exibidos, atualizados e excluídos a partir da página de exibição do painel.

Como usar os alertas do Monitoring

É possível criar um alerta do Monitoring que avisa quando um cluster ou uma métrica de job do Cloud Dataproc ultrapassa um limite especificado (por exemplo, quando a capacidade livre do HDFS está baixa).

Criação de um alerta

  1. Selecione "Alerting→Create a Policy" no console do Monitoring.

  2. Na página Create a new alerting policy, defina um alerta adicionando condições de alerta, canais de notificação e documentação.

  3. Selecione "Conditions→+ Add Condition" e, na página Select condition type, selecione "Metric Threshold/Rate Change/Absence".

  4. Na página Add monitoring.v3 Condition, selecione a métrica "Cloud Dataproc Cluster" e a condição de acionamento de alertas e clique em "Save Condition".

  5. Depois de definir a condição de alertas, conclua a política de alertas definindo canais de notificação, documentação e o nome da nova política de alertas na página Create a new alerting policy.

Como visualizar alertas

Quando um alerta é acionado por uma condição de limite de métrica, o Monitoring cria um incidente (e um evento correspondente). É possível analisar incidentes na página do Monitoring Alerting→Incidents. O Monitoring também envia uma notificação do incidente se tiver sido definido na política de alerta algum mecanismo de notificação, como notificações por e-mail ou por SMS.

Próximas etapas

Esta página foi útil? Conte sua opinião sobre:

Enviar comentários sobre…

Documentação do Cloud Dataproc
Precisa de ajuda? Acesse nossa página de suporte.