Criar painéis, gráficos e alertas

Este documento descreve como criar gráficos e alertas para monitorar recursos do BigQuery usando o Cloud Monitoring.

Antes de começar

Antes de usar o Cloud Monitoring, verifique se você tem:

  • Uma conta de faturamento do Cloud.
  • Um projeto do BigQuery com faturamento ativado

Uma maneira de garantir que você tenha ambos é concluir o guia de início rápido sobre o uso do Console do Google Cloud.

Ver e criar painéis, gráficos e alertas

Ver o painel do Cloud Monitoring

Se você quiser usar o Cloud Monitoring para monitorar seu projeto do BigQuery, faça o seguinte:

  1. No Console do Google Cloud, acesse a página Monitoring.

    Acessar Monitoring

  2. Selecione o nome do seu projeto (se ele ainda não estiver selecionado) na parte superior da página.

  3. Para visualizar os recursos do BigQuery, selecione Painéis > BigQuery. Na página, é possível ver uma lista de tabelas, eventos, e relatórios de incidentes que o usuário pode configurar, além de gráficos de métricas do projeto ou do conjunto de dados:

    Painel do BigQuery.

Visualizar slots disponíveis e slots alocados

Para visualizar os slots disponíveis e os alocados para seu projeto, acesse o painel do BigQuery descrito em Como visualizar o painel do Cloud Monitoring:

  1. No Console do Google Cloud, acesse a página Monitoring.

    Acessar Monitoring

  2. Selecione Painéis > BigQuery.

  3. No painel do Cloud Monitoring para BigQuery, role até o gráfico chamado Utilização de slots.

O gráfico Utilização de slots é exibido no painel principal padrão do Cloud Monitoring e no painel do Cloud Monitoring para BigQuery.

Crie um painel e um gráfico

Exiba as métricas coletadas pelo Cloud Monitoring nos seus próprios gráficos e painéis:

  1. No Console do Google Cloud, acesse a página Monitoring.

    Acessar Monitoring

  2. Selecione Painéis > Criar painel.

  3. Clique em Adicionar gráfico. Você verá a página Adicionar gráfico:

    Adicionar página do gráfico.

  4. Nos campos do painel Localizar tipo de recurso e métrica:

    • Na lista suspensa Tipo de recurso, selecione Global. Talvez seja necessário expandir a lista de Tipos de recurso, para que a opção Global fique visível.
    • Na lista suspensa Métrica, selecione Tempo de execução de consulta.
  5. Os campos do painel Agregação controlam como os dados do tempo de execução são exibidos. É possível modificar as configurações padrão desses campos.

  6. Clique em Save.

Ver uso e limites de cotas

No Cloud Monitoring, é possível visualizar métricas de uso e limites de cotas:

  1. No Console do Google Cloud, acesse a página Monitoring.

    Acessar Monitoring

  2. No painel de navegação, selecione Metrics explorer.

  3. Na barra de ferramentas, selecione Explorer > Configuração.

  4. Na seção Recurso e métrica, clique em Selecionar uma métrica.

  5. Selecione Cota do consumidor > Cota > Limite de cota e clique em Aplicar.

  6. Clique em Adicionar filtro e, no menu Rótulo, selecione limit_name.

  7. No menu Valor, selecione a cota cujas métricas você quer visualizar.

    Metrics explorer

Crie um alerta

Para criar uma política de alertas que seja acionada quando o 99º percentil do ambiente de execução de uma consulta BigQuery exceder um limite definido pelo usuário, use as configurações abaixo.

Novo estado
Campo

Valor
Recurso e métrica No menu Recursos, selecione Projeto do BigQuery.
No menu Categorias de métrica, selecione Consulta.
No menu Métricas, selecione Tempos de execução da consulta.
Filtrar
Séries cruzadas
Série temporal agrupada por
priority
Várias séries
Agregação de série temporal
99th percentile
Janela contínua 5 m
Função de janela contínua sum
Campo
Configurar gatilho de alerta

Valor
Tipo de condição Threshold
Acionador de alerta Any time series violates
Posição do limite Above threshold
Valor do limite Você determina esse valor. No entanto, recomendamos um limite de 60 segundos.
Teste a janela novamente most recent value

Métricas disponíveis para visualização

As seguintes métricas estão disponíveis, com atraso que pode chegar a várias horas.

Tipo de recurso Nome Unidades Descrição
BigQuery
Scanned bytes
Bytes por minuto Número de bytes verificados.
BigQuery
Scanned bytes billed
Bytes por minuto Número de bytes enviados para faturamento ao usar o modelo de análise sob demanda. Os bytes verificados e os bytes verificados podem ser diferentes, porque as cobranças são arredondadas para cima, com uma quantidade mínima de dados processados por consulta.
BigQuery
BI Engine Query Fallback Count (Preview)
Consultas A quantidade de consultas que não usaram o BI Engine como uma taxa. Defina a opção Agrupar por como reason para separar a contagem em diferentes motivos de fallback, incluindo o seguinte:
  • NO_RESERVATION
  • INSUFFICIENT_RESERVATION
  • UNSUPPORTED_SQL_TEXT
  • INPUT_TOO_LARGE
  • OTHER_REASON
BigQuery
Query count
Consultas Consultas em trânsito.
BigQuery
Query execution count (Preview)
Consultas O número de consultas executadas.
BigQuery
Query execution times
- 5th percentile
- 50th percentile
- 95th percentile
- 99th percentile
Segundos Tempos de execução de consulta não armazenados em cache.
BigQuery
Slots used by project
Slots Número de slots do BigQuery atualmente alocados para jobs de consulta no projeto.

Os slots são alocados por conta de faturamento e vários projetos podem compartilhar a mesma reserva de slots.

BigQuery
Slots used by project and job type
Slots Número de slots alocados para o projeto a qualquer momento, separados por tipo de job. Também pode ser entendido como o número de slots usados pelo projeto. Atualmente, os jobs de carregamento e exportação são operações gratuitas e são executados em um pool de recursos público.

Os slots são alocados por conta de faturamento e vários projetos podem compartilhar a mesma reserva de slots.

BigQuery
Slots used by project, reservation, and job type
Slots Número de slots do BigQuery atualmente alocados para o projeto. A alocação de slots pode ser dividida com base na reserva e no tipo de job.
BigQuery
Total slots
Slots Número total de slots disponíveis para o projeto.

Se o projeto compartilha uma reserva de slots com outros projetos, os slots em uso pelos outros projetos não são representados.

BigQuery
Slots used across projects in reservations
Slots Número de slots do BigQuery atualmente alocados em projetos na reserva. Os dados das métricas só são informados enquanto pelo menos um projeto foi atribuído à reserva e está consumindo slots. Como alternativa, consulte as informações das reservas em INFORMATION_SCHEMA.
BigQuery
Slots used by project in reservation
Slots Número de slots do BigQuery atualmente alocados para o projeto na reserva.
Conjunto de dados do BigQuery
Stored bytes
Bytes Bytes armazenados no conjunto de dados. Para as 100 maiores tabelas no conjunto de dados, os bytes armazenados são exibidos para cada tabela individual (por nome). Quaisquer tabelas adicionais no conjunto de dados (além das 100 maiores) são relatadas como soma única, e o nome da tabela do resumo é uma string vazia.
Conjunto de dados do BigQuery
Table count
Tabelas Número de tabelas no conjunto de dados.
Conjunto de dados do BigQuery
Uploaded bytes
Bytes por minuto Número de bytes enviados para qualquer tabela no conjunto de dados.
Conjunto de dados do BigQuery Linhas enviadas Linhas por minuto Número de registros enviados para qualquer tabela no conjunto de dados.

Veja uma lista completa das métricas disponíveis do Google Cloud em Métricas do Google Cloud.

Problemas conhecidos

  • Se nenhuma consulta estiver em execução, nenhum dado será retornado para slots alocados, slots disponíveis ou quaisquer variáveis relacionadas à consulta. Diminua o zoom para ver os dados.

  • Se houver consultas em execução nos EUA e na UE, os slots alocados e os slots disponíveis poderão estar incorretos.

  • Slots alocados são informados como o valor médio em uma janela de tempo (a largura da janela de tempo depende do nível de zoom do gráfico). Aumentar e diminuir o zoom pode alterar o valor dos slots alocados. O zoom em uma janela de tempo de 1 hora ou menos mostra os valores reais dos slots alocados. Nesse intervalo de qualquer período visível no gráfico, avg(slots allocated) = slots allocated.

  • Os dados em gráficos do Cloud Monitoring pertencem somente ao projeto selecionado.

  • As métricas são valores instantâneos, amostrados em um momento específico e podem não perder pontos de dados entre intervalos de amostra. Por exemplo, a métrica de contagem de jobs é amostrada a cada minuto. O valor é o número de jobs nesse momento específico, não o número máximo de vagas durante todo o minuto.