Quando executa o pipeline através do Dataflow, pode ver essa tarefa e todas as outras através da interface de monitorização do Dataflow. A interface de monitorização permite-lhe ver e interagir com as suas tarefas do Dataflow.
Pode aceder à interface de monitorização do Dataflow emGoogle Cloud console.
As tarefas que pode realizar através da interface de monitorização incluem o seguinte:
- Veja uma lista de trabalhos em execução, concluídos e com falhas.
- Veja uma representação gráfica das fases de um trabalho e o progresso de cada fase
- Veja gráficos de métricas de tarefas, como a atualização dos dados, a utilização de recursos e os pedidos de E/S.
- Monitorize o custo estimado de uma tarefa.
- Veja os registos do pipeline.
- Identifique que passos podem causar um atraso no pipeline.
- Identificar as causas da latência nas suas origens e destinos.
- Compreenda os erros de pipeline.
Monitorização de componentes da interface
A interface de monitorização contém os seguintes visualizadores e gráficos:
- Painel de controlo de monitorização de projetos
- Um painel de controlo que monitoriza as suas tarefas do Dataflow ao nível do projeto.
- Lista de tarefas
- Uma lista de todas as tarefas do Dataflow em execução e todas as tarefas executadas nos últimos 30 dias, juntamente com o respetivo estado, região, tempo decorrido e outras informações.
- Gráfico de empregos
- Uma representação gráfica de um pipeline. O gráfico de tarefas também fornece um resumo da tarefa, um registo de tarefas e informações sobre cada passo no pipeline.
- Detalhes da execução
- Mostra as fases de execução de uma tarefa, a atualidade dos dados para tarefas de streaming e o progresso dos trabalhadores para tarefas em lote.
- Métricas de tarefas
- Gráficos que apresentam métricas ao longo da duração de uma tarefa.
- Custo estimado
- O custo estimado da sua tarefa do Dataflow, com base nas métricas de utilização de recursos.
- Recomendações
- Recomendações para melhorar o desempenho do trabalho, reduzir os custos e resolver problemas.
- Ajuste de escala automático
- Um conjunto de gráficos que ajudam a compreender o comportamento do ajuste de escala automático de tarefas de streaming.
- Registos de pipelines
- Registos emitidos pela sua pipeline e pelo serviço Dataflow.
- Amostragem de dados
- Uma ferramenta que lhe permite observar dados amostrados em cada passo de um pipeline.
O que se segue?
- Use o Cloud Monitoring para criar alertas e ver métricas do Dataflow, incluindo métricas personalizadas
- Saiba mais acerca de como criar pipelines de dados preparados para produção
- Saiba como resolver problemas do pipeline