Monitorar um stream

Visão geral

É possível usar o Datastream para monitorar dados e eventos processados por um stream. Essas informações aparecem nos seguintes gráficos:

  • Capacidade: a taxa em que o Datastream processa dados ou eventos. Essa taxa pode ser:

    • A quantidade de dados (em MB) que o Datastream transfere da origem para o destino.

    • O número de eventos associados aos dados que estão sendo transferidos. Um evento é uma única alteração na origem, como uma nova linha adicionada a uma tabela. em um banco de dados.

  • Eventos incompatíveis: o número de eventos que não podem ser processados da origem para o destino.

  • Atualização de dados: a diferença de tempo entre os dados que residem na origem e os dados que estão sendo transferidos para o destino pelo stream. É calculado como o tempo decorrido entre o carimbo de data/hora de origem e o de leitura do evento oldest processado. Se não houver novos eventos para ler da origem, a atualização será definida como 0.

    Se houver eventos na fila que o Datastream ainda não processou, eles não serão considerados quando o Datastream calcular a métrica de atualização de dados. Por exemplo, se houver um pico na capacidade de processamento, ele vai aparecer na métrica de atualização somente depois que o Datastream processar os eventos que causaram o aumento.

  • Latência do sistema: o tempo que o Datastream leva para processar um evento. Esse intervalo é calculado como o tempo entre o momento em que o Datastream lê o evento e quando ele é gravado no destino.

  • Latência total: a diferença de tempo entre o momento em que os dados são gravados na origem e os eventos correspondentes são gravados no destino.

Monitorar dados ou eventos processados

  1. Acesse a página Streams no Console do Google Cloud.

    Acessar a página "Fluxos"

  2. Clique no stream que você quer monitorar.

  3. Opcional. Role a tela até que o gráfico Atualização de dados apareça. Para esse gráfico, clique no link Criar política de alertas para criar uma política de alertas. Uma política de alertas descreve um conjunto de condições que você quer monitorar no gráfico.

    Depois que você clicar no link, a página Criar política de alertas vai aparecer no Cloud Monitoring. Nesta página, você pode definir a política de alertas para o gráfico. Isso inclui especificar quais critérios acionarão a política, quem será notificado se os critérios forem atendidos e como a notificação será feita.

    Para mais informações sobre políticas de alertas, incluindo como criá-las, consulte Como gerenciar políticas de alertas com base em métricas.

  4. Clique na guia MONITORAMENTO.

  5. Role até aparecer o gráfico desejado que representa os dados ou eventos que o Datastream está monitorando.

  6. Se você estiver analisando o gráfico Capacidade, selecione (bytes/segundo) para ver a quantidade de dados que o Datastream transfere da origem para o destino. (evento/segundo) para ver quantos eventos estão associados aos dados que estão sendo transferidos.

  7. Para ver a quantidade de dados ou quantos eventos o Datastream processou em um período de horas ou dias, clique em 1 hora, 6 horas, 12 horas. 1 dia, 2 dias, 4 dias, 7 dias, 14 dias, ou 30 dias.

    Para definir um intervalo personalizado, selecione o menu Personalizado e use o seletor Agenda para especificar as datas e horários de início e de término para a quantidade de dados. ou o número de eventos que você quer visualizar.

    O Datastream atualiza o gráfico no painel para refletir sua seleção e exibe o intervalo que você especificou.

    Por exemplo, se hoje for 31 de outubro de 2021 e você clicar em 30 dias, o gráfico mostrará a quantidade de dados ou o número de eventos processados pelo Datastream desde 1o de outubro de 2021.

  1. Mantenha o cursor sobre a linha no gráfico para mostrar a quantidade de dados ou eventos que o Datastream processou para uma determinada data e hora.

A seguir