Stackdriver Monitoring

O Stackdriver Monitoring permite ver o desempenho, o tempo de atividade e a integridade geral de aplicativos com tecnologia de nuvem. O Stackdriver coleta e ingere métricas, eventos e metadados de clusters do Cloud Dataproc para gerar insights por meio de painéis e gráficos.

Use as métricas de cluster do Stackdriver para monitorar o desempenho e a integridade dos clusters do Cloud Dataproc.

• Consulte os Preços do Stackdriver para entender seus custos.

• Consulte Como monitorar cotas e limites para informações sobre retenção de dados de métricas.

Métricas do cluster do Stackdriver

As métricas do recurso de cluster do Cloud Dataproc são ativadas automaticamente nos clusters do Cloud Dataproc. Use o Monitoring para ver essas métricas.

As métricas de cluster do Cloud Dataproc estão disponíveis no Monitoring ao usar a versão de imagem 1.2.22 e posteriores do Cloud Dataproc.

É possível acessar o Monitoring no console ou usando a API Monitoring.

Console

Depois de criar um cluster, acesse o console do Monitoring para visualizar os dados de monitoramento do cluster.

Também é possível acessar o console do Monitoring no menu do Console do Google Cloud Platform.

No primeiro acesso ao Monitoring você é solicitado a criar um espaço de trabalho e selecionar um projeto. Opcionalmente, você pode instalar o agente do Monitoring em VMs do projeto como uma etapa adicional de configuração. Não é preciso instalar o agente em VMs nos clusters do Cloud Dataproc, porque essa etapa é executada quando você cria um cluster do Cloud Dataproc.

O console do Monitoring é exibido depois que o espaço de trabalho é configurado.

Selecione Resources → Metrics Explorer e clique na caixa de entrada "Find resource type and metric" para exibir a lista suspensa de recursos. Selecione o recurso "Cloud Dataproc Cluster" (ou digite "cloud_dataproc_cluster" na caixa).

Clique novamente na caixa de entrada e selecione uma métrica na lista suspensa. Na próxima captura de tela, "YARN memory size" está selecionado. Passe o mouse sobre o nome da métrica para ver informações sobre ela.

Você pode selecionar filtros, agrupar por marcadores de métricas, executar agregações e selecionar opções de exibição de gráficos. Consulte a documentação do Monitoring.

API

É possível usar a API timeSeries.list do Monitoring para coletar e listar métricas definidas por uma expressão filter. Use o modelo Try this API na página da API para enviar uma solicitação de API e exibir a resposta.

Expanda a página Try this API para ver os códigos cURL e JavaScript equivalentes para sua solicitação de modelo e a resposta JSON retornada pelo Monitoring.

Por exemplo: veja um instantâneo de uma solicitação de modelo e da resposta JSON retornada para os seguintes parâmetros timeSeries.list do Monitoring:

• name: projects/example-project-id
• filter: metric.type="dataproc.googleapis.com/cluster/hdfs/storage_capacity"
• interval.endTime: 2018-02-27T11:54:00.000-08:00
• interval.startTime: 2018-02-20T00:00:00.000-08:00

Como criar um painel personalizado do Monitoring

Você pode criar um painel personalizado do Monitoring com gráficos de métricas do cluster do Cloud Dataproc selecionadas.

1. Selecione Dashboards→Create Dashboard no console do Monitoring.

   

2. Um "Untitled Dashboard" é aberto. Clique em Add Chart. Na janela "Add Chart", selecione "Cloud Dataproc Cluster" como o tipo de recurso. Selecione uma ou mais métricas e propriedades para métricas e gráficos. Confirme ou digite um novo título para o gráfico e clique em Save.

   

3. É possível adicionar gráficos ao seu painel. Depois de clicar em Save, o título do painel aparece no menu Dashboards do Monitoring.

   

4. Os gráficos do painel podem ser exibidos, atualizados e excluídos a partir da página de exibição do painel.

   

Como usar os alertas do Monitoring

É possível criar um alerta do Monitoring que avisa quando um cluster ou uma métrica de job do Cloud Dataproc ultrapassa um limite especificado (por exemplo, quando a capacidade livre do HDFS está baixa).

Criação de um alerta

1. Selecione "Alerting→Create a Policy" no console do Monitoring.

   

2. Na página Create a new alerting policy, defina um alerta adicionando condições de alerta, canais de notificação e documentação.

   

3. Selecione "Conditions→+ Add Condition" e, na página Select condition type, selecione "Metric Threshold/Rate Change/Absence".

   

4. Na página Add monitoring.v3 Condition, selecione a métrica "Cloud Dataproc Cluster" e a condição de acionamento de alertas e clique em "Save Condition".

   

5. Depois de definir a condição de alertas, conclua a política de alertas definindo canais de notificação, documentação e o nome da nova política de alertas na página Create a new alerting policy.

   

Como visualizar alertas

Quando um alerta é acionado por uma condição de limite de métrica, o Monitoring cria um incidente (e um evento correspondente). É possível analisar incidentes na página do Monitoring Alerting→Incidents. O Monitoring também envia uma notificação do incidente se tiver sido definido na política de alerta algum mecanismo de notificação, como notificações por e-mail ou por SMS.

Próximas etapas

• Explore o Stackdriver.