Quando você executa o canal usando o serviço gerenciado do Dataflow, é possível visualizar esse job e qualquer outro com a interface de monitoramento baseada na Web do Dataflow. A interface de monitoramento permite visualizar e interagir com suas tarefas do Dataflow.
É possível acessar a interface de monitoramento do Dataflow usando o console do Google Cloud. A interface de monitoramento mostra:
- Uma lista de todos os jobs do Dataflow em execução e todos os jobs executados nos últimos 30 dias.
- uma representação gráfica de cada pipeline;
- Detalhes sobre o status do job, tipo e versão do SDK.
- links para informações sobre os serviços do Google Cloud executando seu pipeline, como o Compute Engine e o Cloud Storage;
- quaisquer erros ou avisos que ocorrem durante um job.
- Diagnósticos adicionais para um job.
É possível ver os jobs na interface de monitoramento do Dataflow. Esses gráficos mostram métricas ao longo da duração de um job de pipeline e incluem as seguintes informações:
- Visibilidade em nível de etapa para ajudar a identificar quais etapas podem estar causando atraso no pipeline.
- Informações estatísticas que podem apresentar comportamento anômalo.
- Métricas de E/S que podem ajudar a identificar os gargalos nas suas fontes e coletas.
Acessar a interface de monitoramento do Dataflow
Para acessar a interface de monitoramento do Dataflow, siga estas etapas:
- Faça login no Console do Google Cloud.
- Selecione seu projeto do Google Cloud.
- Abra o Menu de navegação.
- No Google Analytics, clique em Dataflow.
Uma lista de jobs do Dataflow é exibida junto com o status deles. Se você não vir nenhum job, precisará executar um novo. Para saber como executar um job, consulte o Guia de início rápido do Java, o Guia de início rápido do Python ou o Guia de início rápido do Go.
Um job pode ter os seguintes status:
- —: a interface de monitoramento ainda não recebeu um status do serviço Dataflow.
- Em execução: o job está em execução.
- Iniciando...: o job é criado, mas o sistema precisa de tempo para se preparar antes da inicialização.
- Em fila: um job do FlexRS está na fila ou um job do modelo flexível está sendo iniciado (o que pode levar vários minutos).
- Cancelando...: o job está sendo cancelado.
- Cancelado: o job foi cancelado.
- Drenando...: o job está sendo drenado.
- Drenado: o job foi drenado.
- Atualizando...: o job está sendo atualizado.
- Atualizado: o job está atualizado.
- Com êxito: o job foi concluído com sucesso.
- Com falha: o job não foi concluído.
Para mais informações sobre um pipeline, clique no nome do job.
Acessar visualizadores do job
Para acessar os gráficos de monitoramento do job, clique no Nome do job na interface de monitoramento do Dataflow. A página Detalhes do job é exibida com as seguintes informações:
- Gráfico do job: a representação visual do pipeline
- Detalhes da execução: ferramenta para otimizar o desempenho do pipeline
- Métricas do job: métricas sobre a execução do job
- Custo: métricas sobre o custo estimado do job
- Escalonamento automático: métricas relacionadas a eventos de escalonamento automático do job de streaming
- Painel de informações do Job: informações descritivas sobre seu pipeline
- Registros do job: registros gerados pelo serviço Dataflow no nível do job
- Logs do worker: registros gerados pelo serviço do Dataflow no nível do worker
- Diagnóstico: tabela que mostra onde ocorreram erros ao longo do cronograma escolhido e possíveis recomendações para o pipeline
- Amostragem de dados: ferramenta que permite observar os dados em cada etapa de um pipeline. Ver Usar amostragem de dados para observar dados do pipeline.
EmDetalhes do job você pode alternar a visualização do job com as guias Gráfico do job, Detalhes da execução, Métricas do job, Custos eEscalonamento automático.
Gráficos do job
Quando você seleciona um job específico do Dataflow, a interface de monitoramento fornece uma representação gráfica do pipeline: o gráfico do job. A página do gráfico do job no console também fornece um resumo e um registro do job, além de informações sobre cada etapa do pipeline. Para mais detalhes sobre gráficos de jobs, consulte Gráfico de job do Dataflow.
Métricas do job
É possível visualizar gráficos na guia Job metrics da interface da Web do Dataflow. Cada métrica é organizada nos seguintes painéis:
Métricas de visão geral
Métricas de streaming (somente pipelines de streaming)
- Atualização de dados (com e sem o Streaming Engine)
- Latência do sistema (com e sem Streaming Engine)
- Backlog
- Processamento (somente Streaming Engine)
- Paralelismo (somente Streaming Engine)
- Persistência (somente Streaming Engine)
- Cópias (somente Streaming Engine)
- Cronômetros (somente Streaming Engine)
Métricas de recursos
Métricas de entrada
Métricas de saída
Alertas do Cloud Monitoring
Consulte Criar alertas do Cloud Monitoring.
Monitoramento de custos
A página Custo no console do Google Cloud mostra o custo estimado do seu job atual do Dataflow. Os custos estimados são calculados multiplicando as métricas de uso de recursos conforme mostrado no Cloud Monitoring pelo preço desses recursos na região do job.
Usar o monitoramento de custos
As estimativas de custo do job estão disponíveis para jobs em lote e de streaming. A página Custo no Console do Google Cloud fornece as seguintes informações:
- Detalhes sobre quais recursos contribuem para o custo do job e o quanto. Os recursos incluem vCPUs, memória, dados do Dataflow Shuffle processados ou do Streaming Engine e uso do disco SSD e HDD.
- Custos em janelas de tempo específicas, como tempo desde o início do job, a hora anterior, as últimas 24 horas, os sete dias anteriores e um período especificado pelo usuário.
Use alertas de monitoramento para receber notificações quando os custos dos jobs ultrapassarem um limite específico. Também é possível usar alertas para fazer alterações nos jobs, como interromper ou cancelar jobs, com base nos limites definidos.
Para criar uma regra de alerta do Cloud Monitoring, clique em Criar alerta. Para instruções sobre como configurar esses alertas, consulte Usar o Cloud Monitoring para pipelines do Dataflow.
Limitações
O monitoramento de custos do Dataflow não é compatível com jobs do Dataflow Prime e métricas de GPU.
Métricas de escalonamento automático
É possível visualizar gráficos de monitoramento do escalonamento automático para jobs de streaming na interface de monitoramento do Dataflow. Esses gráficos mostram métricas ao longo da duração de um job de pipeline e incluem as seguintes informações:
- O número de instâncias de worker usadas pelo job a qualquer momento
- Arquivos de registro de escalonamento automático
- Backlog estimado ao longo do tempo
- Utilização média da CPU ao longo do tempo
Para mais informações, consulte Monitorar o escalonamento automático do Dataflow.
Recomendações e diagnósticos
O Dataflow fornece recomendações para melhorar o desempenho do job, reduzir custos e solucionar erros. Esta seção explica como analisar e interpretar as recomendações. Lembre-se de que algumas recomendações podem não ser relevantes para seu caso de uso.
recomendações
A guia Recomendações exibe insights do Dataflow sobre o pipeline. O objetivo desses insights é identificar situações em que possam ser feitas melhorias no custo e no desempenho.
A coluna Data de atualização indica a última vez que um insight foi observado. As recomendações serão armazenadas por 30 dias a partir da data de atualização.
Acesso programático a recomendações
Para acesso programático a recomendações, use a API Recommender.
Dispensar uma recomendação
É possível dispensar uma recomendação no hub de recomendações do seu projeto.
Para dispensar uma recomendação, clique no menu de navegação no canto superior esquerdo do Console do Google Cloud e selecione Página inicial > Recomendações. No card "Diagnóstico do Dataflow", clique em Ver tudo, selecione a recomendação que você quer dispensar e clique em Dispensar.
Diagnósticos
A guia Diagnóstico do painel Registros coleta e exibe determinadas entradas de registro produzidas nos pipelines. Isso inclui mensagens que indicam um provável problema com o pipeline e mensagens de erro com stack traces. As entradas de registros coletadas são eliminadas e combinadas em grupos de erros.
O relatório de erros inclui as seguintes informações:
- uma lista de erros com mensagens de erro;
- o número de vezes que ocorreu cada erro;
- um histograma indicando quando ocorreu cada erro;
- a hora em que o erro ocorreu recentemente.
- a hora em que o erro ocorreu pela primeira vez.
- O status do erro.
Para visualizar o relatório de um erro específico, clique na descrição na coluna Erros. Será exibida a página Relatórios de erros. Se o erro for relacionado a um erro no serviço, um link adicional com a documentação de mais etapas será exibido ("Guia de solução de problemas").
Para saber mais sobre a página, consulte Como visualizar erros.
Silenciar um erro
Para desativar o silenciamento de uma mensagem, abra a guia Diagnóstico, clique no erro que você quer silenciar e abra o menu de status da resolução (identificado como: Abrir | Reconhecido | Resolvido | Silenciado) e selecione Silenciado.
A seguir
Leia como usar Detalhes da execução para otimizar um job do Dataflow
Explore o Cloud Monitoring para criar alertas e visualizar métricas do Dataflow, incluindo métricas personalizadas.
Saiba mais sobre como criar pipelines de dados prontos para produção