Como monitorar o BigQuery com o Stackdriver

Este documento descreve como monitorar os recursos do BigQuery usando o Stackdriver Monitoring, incluindo a criação de gráficos e alertas para métricas do BigQuery.

Antes de começar

Como visualizar e criar painéis, gráficos e alertas

Visualização do painel do Stackdriver

Para usar o Stackdriver para monitorar o projeto do BigQuery. siga estas etapas:

  1. No Console do Google Cloud Platform, selecione Stackdriver > Monitoramento ou use o seguinte botão:

    Acessar "Monitoramento"

  2. Na parte superior da página, selecione o nome do seu projeto, se ele ainda não estiver selecionado.

  3. Para visualizar os recursos do BigQuery, selecione Recursos > BigQuery. Na página, é possível ver uma lista de tabelas, relatórios de eventos e incidentes que o usuário pode configurar, bem como gráficos de métricas do projeto ou métricas do conjunto de dados:

    Painel do BigQuery para Stackdriver

Como visualizar slots disponíveis e slots alocados

Para visualizar os slots disponíveis e os slots alocados ao projeto, siga estas etapas:

  1. Acesse o painel do Stackdriver para BigQuery descrito em Como visualizar o painel do Stackdriver.

    Acessar "Monitoramento" para BigQuery

  2. No painel do Stackdriver para BigQuery, role para baixo até o gráfico Uso de slot.

O gráfico Uso de slot aparece no painel principal do Stackdriver padrão e no painel do Stackdriver para BigQuery.

Como criar um painel e um gráfico

Exiba as métricas coletadas pelo monitoramento em gráficos e painéis:

  1. No painel de navegação à esquerda do console do monitoramento, selecione Painéis > Criar painel.

    Acessar a página "Criar painel"

  2. Clique em Adicionar gráfico. Você verá a página "Adicionar gráfico":

    Adicionar gráfico

  3. Nos campos do painel Localizar tipo de recurso e métrica:

    • Na lista suspensa Tipo de recurso, selecione Global. Talvez seja necessário expandir a lista de Tipos de recurso, para que a opção Global fique visível.
    • Na lista suspensa Métrica, selecione Ambiente de execução de consulta.
  4. Os campos do painel Agregação controlam como os dados do ambiente de execução são exibidos. É possível modificar as configurações padrão desses campos.

  5. Clique em Salvar.

Criação de um alerta

Defina uma condição e configure os ajustes de notificação para criar um alerta.

  1. No painel de navegação à esquerda do console do monitoramento, selecione Alertas > Criar uma política. Isso abre a página Criar nova política de alertas.

    Acessar a página "Criar nova política de alertas"

  2. Na seção Condições, clique em Adicionar condição.

    1. No painel Destino, defina os campos Localizar tipo de recurso e métrica da seguinte forma:

      • Na lista suspensa Tipo de recurso, selecione Global.
      • Na lista suspensa Métrica, selecione Ambiente de execução de consulta.
    2. Preencha os campos do painel Agregação para capturar o 50º percentil dos valores de cada série temporal no período de alinhamento:

      • Na lista suspensa Alinhador, selecione 50º percentil.
      • Na lista suspensa Redutor, selecione nenhum.
      • Na lista suspensa Período de alinhamento, selecione 1.
    3. Preencha os campos do painel Configuração para que sejam acionados se o 50º percentil de qualquer série temporal exceder 800 ms em um minuto.

      • Na lista suspensa Acionadores de condição, selecione Qualquer violação de série temporal.
      • Na lista suspensa Condição, selecione estiver acima de.
      • Como limite, insira 800. A escolha do limite depende das suas necessidades. O valor de 800 foi selecionado porque era cerca do dobro do 50º percentil médio.
      • Na lista suspensa Por, selecione 1.
    4. Clique em Salvar.

      Adicionar condição de limite

  3. Para definir suas configurações de notificação, clique em Adicionar canal de notificação. É possível optar por receber notificações por e-mail, SMS e vários outros meios.

  4. Opcionalmente, insira uma mensagem de notificação na seção Documentação.

  5. Para concluir, nomeie a política e clique em Salvar política.

Métricas disponíveis para visualização

As seguintes métricas estão disponíveis, com atraso que pode chegar a várias horas.

Tipo de recurso Nome Unidades Descrição
BigQuery Bytes verificados Bytes por minuto Número de bytes verificados
BigQuery Bytes verificados faturados Bytes por minuto Número de bytes enviados para faturamento

Pode haver diferença entre bytes verificados e bytes verificados faturados por alguns motivos.

  • Há uma quantidade mínima de faturamento. Se você verificar menos que essa quantidade, não haverá faturamento.
  • Se sua conta tem algum crédito associado a ela, essas métricas podem ser diferentes.
BigQuery Tempo da consulta
- 5º percentil
- 50º percentil
- 95º percentil
- 99º percentil
segundos Tempos de execução de consulta fora de cache (s)
BigQuery Slots alocados slots Número de slots alocados para o projeto a qualquer momento. Também pode ser considerado como o número de slots usados pelo projeto.

Os slots são alocados por conta de faturamento e vários projetos podem compartilhar a mesma reserva de slots.

BigQuery Slots alocados por tipo de job slots Número de slots alocados para o projeto a qualquer momento, separados por tipo de job. Também pode ser considerado como o número de slots usados pelo projeto. Atualmente, os jobs de carregamento e exportação são operações gratuitas e são executados em um pool de recursos público.

Os slots são alocados por conta de faturamento e vários projetos podem compartilhar a mesma reserva de slots.

BigQuery Slots disponíveis slots Número total de slots disponíveis para o projeto.

Se o projeto compartilha uma reserva de slots com outros projetos, os slots em uso pelos outros projetos não são representados.

Conjunto de dados do BigQuery Bytes armazenados Bytes Bytes armazenados no conjunto de dados. Para as 100 maiores tabelas no conjunto de dados, os bytes armazenados são exibidos para cada tabela individual (por nome). Quaisquer tabelas adicionais no conjunto de dados (além das 100 maiores) são relatadas como soma única, e o nome da tabela do resumo é uma string vazia.
Conjunto de dados do BigQuery Tabelas Tabelas Número de tabelas no conjunto de dados
Conjunto de dados do BigQuery Bytes enviados faturados Bytes por minuto Número de bytes enviados para qualquer tabela no conjunto de dados que foram faturados
Conjunto de dados do BigQuery Bytes enviados Bytes por minuto Número de bytes enviados para qualquer tabela no conjunto de dados

Pode haver diferença entre bytes enviados e bytes enviados faturados por alguns motivos.

  • Há uma quantidade mínima de faturamento. Se você verificar menos que essa quantidade, não haverá faturamento.
  • Se sua conta tem algum crédito associado a ela, essas métricas podem ser diferentes.
Conjunto de dados do BigQuery Linhas enviadas Linhas por minuto Número de registros enviados para qualquer tabela no conjunto de dados

Problemas conhecidos

  • Se não houver nenhuma consulta em execução, nenhum dado será retornado para slots alocados, slots disponíveis ou qualquer variável relacionada à consulta. Diminua o zoom para ver os dados.

  • Se houver consultas em execução nos EUA e na UE, os slots alocados e os slots disponíveis poderão estar incorretos.

  • Slots alocados são informados como o valor médio em uma janela de tempo (a largura da janela de tempo depende do nível de zoom do gráfico). Aumentar e diminuir o zoom pode alterar o valor dos slots alocados. O zoom em uma janela de tempo de 1 hora ou menos mostra os valores reais dos slots alocados. Nesse intervalo, para qualquer tempo visível no gráfico, avg(slots allocated) = slots allocated.

  • Os dados em gráficos do Stackdriver referem-se apenas ao projeto selecionado. O monitoramento de vários projetos não está disponível no momento.

Esta página foi útil? Conte sua opinião sobre:

Enviar comentários sobre…

Precisa de ajuda? Acesse nossa página de suporte.