Painel de controlo de monitorização de projetos do Dataflow

A interface de monitorização baseada na Web do Dataflow inclui um painel de controlo que monitoriza as suas tarefas do Dataflow ao nível do projeto. Os gráficos mostram dados para todas as tarefas num projeto.

Aceder ao painel de controlo

O painel de controlo pode ajudar com as seguintes tarefas:

  • Detetar e identificar a origem dos erros de quota.
  • Detetar o escalamento automático horizontal anómalo num trabalho.
  • Identifique trabalhos de streaming lentos ou bloqueados.

O painel de controlo usa o Cloud Monitoring para aceder às métricas de tarefas do Dataflow. Para personalizar as informações apresentadas nos gráficos, use o explorador de métricas.

Funcionalidades

O painel de controlo inclui as seguintes funcionalidades:

  • Escolha os trabalhos que aparecem no painel de controlo através de expressões regulares.
  • Aceda à página de detalhes do trabalho a partir de gráficos individuais.
  • Personalize os widgets e os gráficos do painel de controlo.

Funções necessárias

Para receber a autorização de que precisa para ver os dados do gráfico, peça ao seu administrador para lhe conceder a função de IAM Leitor de monitorização (roles/monitoring.viewer). Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Esta função predefinida contém a autorização monitoring.timeSeries.list , que é necessária para ver os dados do gráfico.

Também pode obter esta autorização com funções personalizadas ou outras funções predefinidas.

Aceda ao painel de controlo

Para aceder ao painel de controlo, siga estes passos:

  1. Inicie sessão na Google Cloud consola.
  2. Selecione o seu projeto da Google Cloud Platform.
  3. Abra o menu de navegação.
  4. No Analytics, clique em Dataflow.

  5. No menu de navegação do Dataflow, clique em Monitorização.

    Aceder ao painel de controlo

Métricas do painel de controlo

Por predefinição, os seguintes gráficos de intervalos temporais são apresentados no painel de controlo. Para mais informações sobre as métricas apresentadas, consulte Métricas de tarefas.

Os seguintes gráficos aplicam-se a tarefas em lote e de streaming:

  • Executar tarefas. Mostra o número de tarefas ativas em execução no projeto. Este gráfico indica a atividade geral do Dataflow no projeto ao longo do tempo.
  • Trabalhadores por tarefa (25 principais). Mostra as contagens de trabalhadores atuais para os 25 trabalhos mais paralelizados. Este gráfico é útil para compreender a atribuição de recursos e identificar trabalhos com uma carga de trabalho elevada. Também pode ver se os trabalhos têm um comportamento de escalabilidade inesperado.
  • Contagem total de vCPUs. Mostra o número total de CPUs virtuais (vCPUs) em utilização em todos os trabalhos no projeto. O número total de vCPUs afeta as quotas do Compute Engine.
  • vCPUs por tarefa (25 principais). Mostrar os 25 trabalhos que consomem mais recursos de vCPU. Este gráfico realça os trabalhos potencialmente caros.
  • Contagem total de vCPUs. Mostra um agregado ao nível do projeto das CPUs virtuais em utilização. Este gráfico oferece uma vista geral dos recursos do Compute Engine que as suas tarefas consomem.
  • Erros de quota excedida. Comunica todas as instâncias em que foram atingidas as cotas do Dataflow ou as cotas do Compute Engine. Este gráfico pode ajudar a encontrar potenciais falhas de tarefas ou abrandamentos na escalabilidade.

Os seguintes gráficos aplicam-se a trabalhos de streaming:

  • Latência média do sistema. Mostra a latência do sistema> média, que reflete o atraso típico que os dados sofrem à medida que passam pelas fases de origem. Este gráfico pode indicar potenciais gargalos de entrada. Use este gráfico para identificar tarefas de streaming que têm um atraso invulgar entre o momento em que os dados aparecem numa origem e o momento em que os dados são escritos em todos os destinos.
  • As 25 principais tarefas por atraso do sistema. Mostra os 25 pipelines de streaming com o atraso do sistema mais elevado, que é o período mais longo durante o qual os dados são processados ou aguardam processamento. Este gráfico pode indicar potenciais obstáculos de processamento em tempo real.
  • Os 25 principais trabalhos por atraso da marca de água dos dados por fase (atualidade). Mostra as 25 tarefas de streaming com o maior atraso da marca de água. O atraso da marca de água para uma fase é a diferença entre a hora do evento mais recente recebida pela fase e a marca de água. Este gráfico pode indicar potenciais gargalos ao nível da granularidade de cada fase. Use este gráfico para encontrar tarefas de streaming que podem ser lentas ou estar bloqueadas. Para mais informações, consulte o artigo Resolva problemas de trabalhos de streaming lentos ou bloqueados.
  • As 25 principais tarefas por utilização de SECUs. Mostra as 25 tarefas de streaming que consomem o maior número de unidades de computação do Streaming Engine. Use este gráfico para medir o custo e a intensidade dos seus trabalhos de streaming que usam a faturação baseada em recursos.
  • Os 25 principais trabalhos por latências de processamento do utilizador (por fase). Mostra os 25 trabalhos de streaming em que o código definido pelo utilizador nas fases de processamento demora mais tempo. Use este gráfico para encontrar potenciais restrições de desempenho na lógica da sua aplicação.
  • Max backlog bytes (top 25). Mostra as 25 tarefas de streaming com o maior volume de dados não processados à espera em qualquer fase. Este gráfico pode indicar uma potencial sobrecarga de entrada ou um processamento lento.

Para mais informações sobre como trabalhar com gráficos, consulte o artigo Explore os dados representados em gráficos.

Personalize o painel de controlo

Pode personalizar o conteúdo do painel de controlo e as informações apresentadas nos gráficos. Quando edita o painel de controlo, é criado um novo painel de controlo personalizado.

O painel de controlo usa o Cloud Monitoring para aceder às métricas de tarefas do Dataflow. Use as ferramentas do Cloud Monitoring para personalizar os gráficos.

  1. Abra o painel de controlo e clique em Personalizar painel de controlo.
  2. Modifique o seu painel de controlo.
  3. Clique em Guardar e, de seguida, clique em Ver painel de controlo personalizado.

Depois de criar um painel de controlo personalizado, para voltar ao painel de controlo predefinido, no menu Painel de controlo, selecione Predefinido.

Para ver um exemplo de como adicionar um gráfico de métricas personalizadas ao painel de controlo, consulte o artigo Personalize o painel de controlo de monitorização do fluxo de dados.

Resolução de problemas

Esta secção fornece instruções para resolver problemas comuns

Não existem dados disponíveis

Quando abre o painel de controlo, um ou mais gráficos mostram a seguinte mensagem:

No data is available for the selected time frame.

Esta mensagem é apresentada quando o período abrangido nos gráficos não tem dados. Para resolver este problema, altere ou expanda o intervalo de tempo.

Para alterar o intervalo de tempo apresentado, no gráfico, clique em Explorar dados e, de seguida, use o seletor de intervalo de tempo.

Não é possível restaurar widgets eliminados

Quando remove um widget do painel de controlo, cria um painel de controlo personalizado. Depois de criar um painel de controlo personalizado, para voltar ao painel de controlo predefinido, no menu Painel de controlo, selecione Predefinido.

Não é possível ver gráficos

Para ver os dados do gráfico, precisa da autorização monitoring.timeSeries.list. Para mais informações, consulte o artigo Funções necessárias.

O que se segue?