Ao executar o pipeline usando o Dataflow, é possível conferir esse job e outros usando a interface de monitoramento baseada na Web do Dataflow. A interface de monitoramento permite visualizar e interagir com suas tarefas do Dataflow.
É possível acessar a interface de monitoramento do Dataflow no Console do Google Cloud. A interface de monitoramento mostra:
- Uma lista de todos os jobs do Dataflow em execução e todos os jobs executados nos últimos 30 dias.
- uma representação gráfica de cada pipeline;
- Detalhes sobre o status do job, tipo e versão do SDK.
- links para informações sobre os serviços do Google Cloud executando seu pipeline, como o Compute Engine e o Cloud Storage;
- quaisquer erros ou avisos que ocorrem durante um job.
- Diagnósticos adicionais para um job.
É possível ver os jobs na interface de monitoramento do Dataflow. Esses gráficos mostram métricas ao longo da duração de um job e incluem as seguintes informações:
- Visibilidade em nível de etapa para ajudar a identificar quais etapas podem causar atraso no pipeline.
- Informações estatísticas que podem apresentar comportamento anômalo.
- Métricas de E/S que podem ajudar a identificar os gargalos nas suas fontes e coletas.
Acessar a interface de monitoramento do Dataflow
Para acessar a interface de monitoramento do Dataflow, siga estas etapas:
- Faça login no Console do Google Cloud.
- Selecione seu projeto do Google Cloud.
- Abra o Menu de navegação.
- No Google Analytics, clique em Dataflow.
Uma lista de jobs do Dataflow é exibida junto com o status deles. Se você não vir nenhum job, precisará executar um novo. Para saber como executar um job, consulte o Guia de início rápido do Java, o Guia de início rápido do Python ou o Guia de início rápido do Go.
Um job pode ter os seguintes status:
- —: a interface de monitoramento ainda não recebeu um status do serviço Dataflow.
- Em execução: o job está em execução.
- Iniciando...: o job é criado, mas o sistema precisa de tempo para se preparar antes da inicialização.
- Em fila: um job do FlexRS está na fila ou um job do modelo flexível está sendo iniciado (o que pode levar vários minutos).
- Cancelando...: o job está sendo cancelado.
- Cancelado: o job foi cancelado.
- Drenando...: o job está sendo drenado.
- Drenado: o job foi drenado.
- Atualizando...: o job está sendo atualizado.
- Atualizado: o job está atualizado.
- Com êxito: o job foi concluído com sucesso.
- Com falha: o job não foi concluído.
Acessar visualizadores do job
Para acessar os gráficos de monitoramento do job, clique no Nome do job na interface de monitoramento do Dataflow. A página Detalhes do job é exibida com as seguintes informações:
- Gráfico do job: a representação visual do pipeline
- Detalhes da execução: ferramenta para otimizar o desempenho do pipeline
- Métricas do job: métricas sobre a execução do job
- Custo: métricas sobre o custo estimado do job
- Escalonamento automático: métricas relacionadas a eventos de escalonamento automático do job de streaming
- Painel de informações do job: informações descritivas sobre seu pipeline
- Registros do job: registros gerados pelo serviço Dataflow no nível do job
- Logs do worker: registros gerados pelo serviço do Dataflow no nível do worker
- Diagnóstico: tabela que mostra onde ocorreram erros ao longo do cronograma escolhido e possíveis recomendações para o pipeline
- Amostragem de dados: ferramenta que permite observar os dados em cada etapa de um pipeline. Ver Usar amostragem de dados para observar dados do pipeline.
EmDetalhes do job você pode alternar a visualização do job com as guias Gráfico do job, Detalhes da execução, Métricas do job, Custos eEscalonamento automático.
Gráficos do job
Quando você seleciona um job específico do Dataflow, a interface de monitoramento fornece uma representação gráfica do pipeline: o gráfico do job. A página do gráfico do job no console também fornece um resumo e um registro do job, além de informações sobre cada etapa do pipeline. Para mais detalhes sobre gráficos de jobs, consulte Gráficos de jobs do Dataflow.
Métricas do job
É possível visualizar gráficos na guia Job metrics da interface da Web do Dataflow. Cada métrica é organizada nos seguintes painéis:
Métricas de visão geral
Métricas de streaming (somente pipelines de streaming)
- Atualização de dados (com e sem o Streaming Engine)
- Latência do sistema (com e sem Streaming Engine)
- Backlog
- Processamento (somente Streaming Engine)
- Paralelismo (somente Streaming Engine)
- Persistência (somente Streaming Engine)
- Cópias (somente Streaming Engine)
- Cronômetros (somente Streaming Engine)
Métricas de recursos
Métricas de entrada
Métricas de saída
Alertas do Cloud Monitoring
Consulte Criar alertas do Cloud Monitoring.
Monitoramento de custos
A página Custo no console do Google Cloud mostra o custo estimado do seu job atual do Dataflow. Os custos estimados são calculados multiplicando as métricas de uso de recursos conforme mostrado no Cloud Monitoring pelo preço desses recursos na região do job.
Usar o monitoramento de custos
As estimativas de custo do job estão disponíveis para jobs em lote e de streaming. A página Custo no Console do Google Cloud fornece as seguintes informações:
- Detalhes sobre quais recursos contribuem para o custo do job e o quanto. Os recursos incluem vCPUs, memória, dados do Dataflow Shuffle processados ou do Streaming Engine e uso do disco SSD e HDD.
- Custos em janelas de tempo específicas, como tempo desde o início do job, a hora anterior, as últimas 24 horas, os sete dias anteriores e um período especificado pelo usuário.
Use alertas de monitoramento para receber notificações quando os custos dos jobs ultrapassarem um limite específico. Também é possível usar alertas para fazer alterações nos jobs, como interromper ou cancelar jobs, com base nos limites definidos.
Para criar uma regra de alerta do Cloud Monitoring, clique em Criar alerta. Para instruções sobre como configurar esses alertas, consulte Usar o Cloud Monitoring para pipelines do Dataflow.
Limitações
O monitoramento de custos do Dataflow não é compatível com jobs do Dataflow Prime e métricas de GPU.
Métricas de escalonamento automático
É possível visualizar gráficos de monitoramento do escalonamento automático para jobs de streaming na interface de monitoramento do Dataflow. Esses gráficos mostram métricas ao longo da duração de um job de pipeline e incluem as seguintes informações:
- O número de instâncias de worker usadas pelo job a qualquer momento
- Arquivos de registro de escalonamento automático
- Backlog estimado ao longo do tempo
- Utilização média da CPU ao longo do tempo
Para mais informações, consulte Monitorar o escalonamento automático do Dataflow.
Recomendações e diagnósticos
O Dataflow fornece recomendações para melhorar o desempenho do job, reduzir custos e solucionar erros. Esta seção explica como analisar e interpretar as recomendações. Lembre-se de que algumas recomendações podem não ser relevantes para seu caso de uso.
recomendações
A guia Recomendações exibe insights do Dataflow sobre o pipeline. O objetivo desses insights é identificar situações em que possam ser feitas melhorias no custo e no desempenho.
A coluna Data de atualização indica a última vez que um insight foi observado. As recomendações são armazenadas por 30 dias a partir da data de atualização.
Acesso programático a recomendações
Para acesso programático a recomendações, use a API Recommender.
Dispensar uma recomendação
É possível dispensar uma recomendação no hub de recomendações do seu projeto.
Para dispensar uma recomendação, siga estas etapas:
- No console do Google Cloud, abra o menu de navegação.
- Selecione Página inicial e Recomendações.
- No card Diagnóstico do Dataflow, clique em Ver tudo.
- Selecione a recomendação que você quer dispensar e clique em Dispensar.
Diagnósticos
A guia Diagnóstico do painel Registros coleta e exibe determinadas entradas de registro produzidas nos pipelines. Essas entradas incluem mensagens que indicam um provável problema com o pipeline e mensagens de erro com stack traces. As entradas de registros coletadas são eliminadas e combinadas em grupos de erros.
O relatório de erros inclui as seguintes informações:
- Uma lista de erros com mensagens de erro
- O número de vezes que cada erro ocorreu
- um histograma indicando quando ocorreu cada erro;
- a hora em que o erro ocorreu recentemente.
- A hora em que o erro ocorreu pela primeira vez
- O status do erro
Para visualizar o relatório de um erro específico, clique na descrição na coluna Erros. Será exibida a página Relatórios de erros. Se o erro for relacionado a um erro no serviço, um link do Guia de solução de problemas será exibido.
Para saber mais sobre a página, consulte Visualizar e filtrar erros.
Silenciar um erro
Para silenciar uma mensagem de erro, siga estas etapas:
- Abra a guia Diagnóstico.
- Clique no erro que você quer silenciar.
- Abra o menu de status da resolução. Os status têm os seguintes rótulos: Aberto, Reconhecido, Resolvido ou Silenciado.
- Selecione Silenciado.
A seguir
Saiba como usar os Detalhes da execução para otimizar um job do Dataflow
Explore o Cloud Monitoring para criar alertas e visualizar métricas do Dataflow, incluindo métricas personalizadas.
Saiba mais sobre como criar pipelines de dados prontos para produção