Monitoramento do BigQuery

Este documento descreve como monitorar os recursos do BigQuery usando o Stackdriver Monitoring, incluindo a criação de gráficos e alertas para métricas do BigQuery.

Antes de começar

Como visualizar e criar painéis, gráficos e alertas

Como visualizar o painel do Stackdriver Monitoring

Se você quiser usar o Stackdriver Monitoring para monitorar o projeto do BigQuery, siga estas etapas:

  1. No Console do Google Cloud, acesse a página Monitoring.

    Acessar Monitoring

  2. Selecione o nome do seu projeto se ele ainda não estiver selecionado na parte superior da página.

  3. Para visualizar os recursos do BigQuery, selecione Recursos > BigQuery. Na página, é possível ver uma lista de tabelas, relatórios de eventos e incidentes que o usuário pode configurar, bem como gráficos de métricas do projeto ou métricas do conjunto de dados:

    Painel do BigQuery.

Como visualizar slots disponíveis e slots alocados

Para visualizar os slots disponíveis e os slots alocados para seu projeto, acesse o painel do Stackdriver para BigQuery, descrito em Como visualizar o painel do Stackdriver Monitoring:

  1. No Console do Google Cloud, acesse a página Monitoring.

    Acessar Monitoring

  2. Selecione Recursos > BigQuery.

  3. No painel do Stackdriver Monitoring para BigQuery, role para baixo até o gráfico Uso de slot.

O gráfico Uso de slot aparece no painel principal do Stackdriver Monitoring padrão e no painel do Stackdriver Monitoring para BigQuery.

Como criar um painel e um gráfico

Exiba as métricas coletadas pelo Stackdriver Monitoring em gráficos e painéis:

  1. No Console do Google Cloud, acesse a página Monitoring.

    Acessar Monitoring

  2. Selecione Painéis > Criar painel.

  3. Clique em Adicionar gráfico. Você verá a página Adicionar gráfico:

    Adicionar página do gráfico.

  4. Nos campos do painel Localizar tipo de recurso e métrica:

    • Na lista suspensa Tipo de recurso, selecione Global. Talvez seja necessário expandir a lista de Tipos de recurso, para que a opção Global fique visível.
    • Na lista suspensa Métrica, selecione Ambiente de execução de consulta.
  5. Os campos do painel Agregação controlam como os dados do ambiente de execução são exibidos. É possível modificar as configurações padrão desses campos.

  6. Clique em Salvar.

Como criar um alerta

Para criar uma política de alertas que seja acionada quando o 50º percentil do ambiente de execução de uma consulta BigQuery exceder um limite definido pelo usuário, use as configurações abaixo:

Campo do painel
Target

Valor
Resource type Global
Metric Query execution time
Filter
Aggregator none
Advanced Aggregation Aligner: 50th percentile
Alignment Period: 1 m
Campo do painel
Condições

Valor
Condition triggers if Any time series violates
Condition is above
Threshold Você determina o valor aceitável. Para essa métrica, considere um limite que é, aproximadamente, o dobro do valor médio do 50º percentil.
For 1 minute

Métricas disponíveis para visualização

As seguintes métricas estão disponíveis, com atraso que pode chegar a várias horas.

Tipo de recurso Nome Unidades Descrição
BigQuery Bytes verificados Bytes por minuto Número de bytes verificados
BigQuery Bytes verificados faturados Bytes por minuto Número de bytes enviados para faturamento

Pode haver diferença entre bytes verificados e bytes verificados faturados por alguns motivos.

  • Há uma quantidade mínima de faturamento. Se você verificar uma quantidade inferior, não haverá faturamento.
  • Se sua conta tem algum crédito associado a ela, essas métricas podem ser diferentes.

BigQuery Tempo de consulta
- 5º percentil - 50º percentil - 95º percentil - 99º percentil
segundos Tempos de execução de consulta fora de cache (s)
BigQuery Slots alocados slots Número de slots alocados para o projeto a qualquer momento. Também pode ser considerado como o número de slots usados pelo projeto.

Os slots são alocados por conta de faturamento e vários projetos podem compartilhar a mesma reserva de slots.

BigQuery Slots alocados por tipo de job slots Número de slots alocados para o projeto a qualquer momento, separados por tipo de job. Também pode ser entendido como o número de slots usados pelo projeto. Atualmente, os jobs de carregamento e exportação são operações gratuitas e são executados em um pool de recursos público.

Os slots são alocados por conta de faturamento, e vários projetos podem compartilhar a mesma reserva de slots.

BigQuery Slots disponíveis slots Número total de slots disponíveis para o projeto.

Se o projeto compartilha uma reserva de slots com outros projetos, os slots em uso pelos outros projetos não são representados.

Conjunto de dados do BigQuery Bytes armazenados Bytes Bytes armazenados no conjunto de dados. Para as 100 maiores tabelas no conjunto de dados, os bytes armazenados são exibidos para cada tabela individual (por nome). Quaisquer tabelas adicionais no conjunto de dados (além das 100 maiores) são relatadas como soma única, e o nome da tabela do resumo é uma string vazia.
Conjunto de dados do BigQuery Tabelas Tabelas Número de tabelas no conjunto de dados
Conjunto de dados do BigQuery Bytes enviados faturados Bytes por minuto Número de bytes enviados para qualquer tabela no conjunto de dados que foram faturados
Conjunto de dados do BigQuery Bytes enviados Bytes por minuto Número de bytes enviados para qualquer tabela no conjunto de dados

Pode haver diferença entre bytes enviados e bytes enviados faturados por alguns motivos.

  • Há uma quantidade mínima de faturamento. Se você verificar menos que essa quantidade, não haverá faturamento.
  • Se sua conta tem algum crédito associado a ela, essas métricas podem ser diferentes.
Conjunto de dados do BigQuery Linhas enviadas Linhas por minuto Número de registros enviados para qualquer tabela no conjunto de dados

Problemas conhecidos

  • Se não houver nenhuma consulta em execução, nenhum dado será retornado para slots alocados, slots disponíveis ou qualquer variável relacionada à consulta. Diminua o zoom para ver os dados.

  • Se houver consultas em execução nos EUA e na UE, os slots alocados e os slots disponíveis poderão estar incorretos.

  • Slots alocados são informados como o valor médio em uma janela de tempo (a largura da janela de tempo depende do nível de zoom do gráfico). Aumentar e diminuir o zoom pode alterar o valor dos slots alocados. O zoom em uma janela de tempo de 1 hora ou menos mostra os valores reais dos slots alocados. Nesse intervalo para qualquer momento visível no gráfico, avg(slots allocated) = slots allocated.

  • Os dados em gráficos do Stackdriver Monitoring referem-se apenas ao projeto selecionado. O monitoramento de vários projetos não está disponível no momento.