Criar painéis, gráficos e alertas

Este documento descreve como criar gráficos e alertas para monitorar recursos do BigQuery usando o Cloud Monitoring.

Antes de começar

Antes de usar o Cloud Monitoring, verifique se você tem:

• Uma conta de faturamento do Cloud.
• Um projeto do BigQuery com faturamento ativado

Uma maneira de garantir que você tenha ambos é concluir o guia de início rápido sobre o uso do Console do Google Cloud.

Ver e criar painéis, gráficos e alertas

Ver o painel do Cloud Monitoring

Se você quiser usar o Cloud Monitoring para monitorar seu projeto do BigQuery, faça o seguinte:

1. No Console do Google Cloud, acesse a página Monitoring.

   Acessar Monitoring

2. Selecione o nome do seu projeto (se ele ainda não estiver selecionado) na parte superior da página.

3. Para visualizar os recursos do BigQuery, selecione Painéis > BigQuery. Na página, é possível ver uma lista de tabelas, eventos, e relatórios de incidentes que o usuário pode configurar, além de gráficos de métricas do projeto ou do conjunto de dados:

   

Visualizar slots disponíveis e slots alocados

Para visualizar os slots disponíveis e os alocados para seu projeto, acesse o painel do BigQuery descrito em Como visualizar o painel do Cloud Monitoring:

1. No Console do Google Cloud, acesse a página Monitoring.

   Acessar Monitoring

2. Selecione Painéis > BigQuery.

3. No painel do Cloud Monitoring para BigQuery, role até o gráfico chamado Utilização de slots.

O gráfico Utilização de slots é exibido no painel principal padrão do Cloud Monitoring e no painel do Cloud Monitoring para BigQuery.

Crie um painel e um gráfico

Exiba as métricas coletadas pelo Cloud Monitoring nos seus próprios gráficos e painéis:

1. No Console do Google Cloud, acesse a página Monitoring.

   Acessar Monitoring

2. Selecione Painéis > Criar painel.

3. Clique em Adicionar gráfico. Você verá a página Adicionar gráfico:

   

4. Nos campos do painel Localizar tipo de recurso e métrica:

   • Na lista suspensa Tipo de recurso, selecione Global. Talvez seja necessário expandir a lista de Tipos de recurso, para que a opção Global fique visível.
   • Na lista suspensa Métrica, selecione Tempo de execução de consulta.

5. Os campos do painel Agregação controlam como os dados do tempo de execução são exibidos. É possível modificar as configurações padrão desses campos.

6. Clique em Salvar.

Ver uso e limites de cotas

No Cloud Monitoring, é possível visualizar métricas de uso e limites de cotas:

1. No Console do Google Cloud, acesse a página Monitoring.

   Acessar Monitoring

2. No painel de navegação, selecione Metrics explorer.

3. Na barra de ferramentas, selecione Explorer > Configuração.

4. Na seção Recurso e métrica, clique em Selecionar uma métrica.

5. Selecione Cota do consumidor > Cota > Limite de cota e clique em Aplicar.

6. Clique em Adicionar filtro e, no menu Rótulo, selecione limit_name.

7. No menu Valor, selecione a cota cujas métricas você quer visualizar.

   

Observação: você pode ver métricas de uso e limites de cotas apenas para as conexões simultâneas e cotas de capacidade de processamento da API de gravação de armazenamento do BigQuery.

Criar um alerta

Para criar uma política de alertas que seja acionada quando o 99º percentil do ambiente de execução de uma consulta BigQuery exceder um limite definido pelo usuário, use as configurações abaixo.

Etapas para criar uma política de alertas.

Para criar uma política de alertas, siga estas etapas:

1. No Console do Google Cloud, acesse a página  Alertas:

   Acessar Alertas

   Se você usar a barra de pesquisa para encontrar essa página, selecione o resultado com o subtítulo Monitoring.

2. Se você não tiver criado seus canais de notificação e quiser receber uma notificação, clique em Editar canais de notificação e adicione-os. Volte para a página Alertas depois de adicionar seus canais.
3. Na página Alertas, clique em Criar política.
4. Para selecionar o recurso, a métrica e os filtros, expanda o menu Selecionar uma métrica e use os valores na tabela Nova condição:
   1. (Opcional) Para limitar o menu a entradas relevantes, insira o nome do recurso ou da métrica na barra de filtro.
   2. Selecione um Tipo de recurso. Por exemplo, selecione Instância de VM.
   3. Selecione uma Categoria de métrica. Por exemplo, selecione instância.
   4. Selecione uma Métrica. Por exemplo, selecione CPU Utilization.
   5. Selecione Apply.
5. Clique em Avançar e configure o acionador da política de alertas. Para preencher esses campos, use os valores na tabela Configurar gatilho de alerta.
6. Clique em Próxima.

7. Opcional: para adicionar notificações à sua política de alertas, clique em Canais de notificação. Na caixa de diálogo, selecione um ou mais canais de notificação no menu e clique em OK.

   (Opcional) Para receber uma notificação quando os incidentes forem abertos ou fechados, marque Notificar sobre o fechamento de incidentes. Por padrão, as notificações são enviadas apenas quando incidentes são abertos.

8. Opcional: Atualize a Duração do fechamento automático do incidente. Este campo determina quando o Monitoring fecha incidentes na ausência de dados de métrica.
9. Opcional: clique em Documentação e adicione as informações que quer incluir em uma mensagem de notificação.
10. Clique em Nome e digite um nome para a política de alertas.
11. Clique em Criar política.

Novo estado Campo	Valor
Recurso e métrica	No menu Recursos, selecione Projeto do BigQuery. No menu Categorias de métrica, selecione Consulta. No menu Métricas, selecione Tempos de execução da consulta.
Filtrar
Séries cruzadas Série temporal agrupada por	priority
Várias séries Agregação de série temporal	99th percentile
Janela contínua	5 m
Função de janela contínua	sum

Campo Configurar gatilho de alerta	Valor
Tipo de condição	Threshold
Acionador de alerta	Any time series violates
Posição do limite	Above threshold
Valor do limite	Você determina esse valor. No entanto, recomendamos um limite de 60 segundos.
Teste a janela novamente	most recent value

Métricas disponíveis para visualização

As seguintes métricas estão disponíveis, com atraso que pode chegar a várias horas.

Tipo de recurso	Nome	Unidades	Descrição
BigQuery	Scanned bytes	Bytes por minuto	Número de bytes verificados.
BigQuery	Scanned bytes billed	Bytes por minuto	Número de bytes enviados para faturamento ao usar o modelo de análise sob demanda. Os bytes verificados e os bytes verificados podem ser diferentes, porque as cobranças são arredondadas para cima, com uma quantidade mínima de dados processados por consulta.
BigQuery	BI Engine Query Fallback Count (Preview)	Consultas	A quantidade de consultas que não usaram o BI Engine como uma taxa. Defina a opção Agrupar por como reason para separar a contagem em diferentes motivos de fallback, incluindo o seguinte: NO_RESERVATION INSUFFICIENT_RESERVATION UNSUPPORTED_SQL_TEXT INPUT_TOO_LARGE OTHER_REASON
BigQuery	Query count	Consultas	Consultas em trânsito.
BigQuery	Query execution count (Preview)	Consultas	O número de consultas executadas.
BigQuery	Query execution times - 5th percentile - 50th percentile - 95th percentile - 99th percentile	Segundos	Tempos de execução de consulta não armazenados em cache.
BigQuery	Slots used by project	Slots	Número de slots do BigQuery atualmente alocados para jobs de consulta no projeto. Os slots são alocados por conta de faturamento e vários projetos podem compartilhar a mesma reserva de slots.
BigQuery	Slots used by project and job type	Slots	Número de slots alocados para o projeto a qualquer momento, separados por tipo de job. Também pode ser entendido como o número de slots usados pelo projeto. Atualmente, os jobs de carregamento e exportação são operações gratuitas e são executados em um pool de recursos público. Os slots são alocados por conta de faturamento e vários projetos podem compartilhar a mesma reserva de slots.
BigQuery	Slots used by project, reservation, and job type	Slots	Número de slots do BigQuery atualmente alocados para o projeto. A alocação de slots pode ser dividida com base na reserva e no tipo de job.
BigQuery	Total slots	Slots	Número total de slots disponíveis para o projeto. Se o projeto compartilha uma reserva de slots com outros projetos, os slots em uso pelos outros projetos não são representados.
BigQuery	Slots used across projects in reservations	Slots	Número de slots do BigQuery atualmente alocados em projetos na reserva. Os dados das métricas só são informados enquanto pelo menos um projeto foi atribuído à reserva e está consumindo slots. Como alternativa, consulte as informações das reservas em INFORMATION_SCHEMA.
BigQuery	Slots used by project in reservation	Slots	Número de slots do BigQuery atualmente alocados para o projeto na reserva.
Conjunto de dados do BigQuery	Stored bytes	Bytes	Bytes armazenados no conjunto de dados. Para as 100 maiores tabelas no conjunto de dados, os bytes armazenados são exibidos para cada tabela individual (por nome). Quaisquer tabelas adicionais no conjunto de dados (além das 100 maiores) são relatadas como soma única, e o nome da tabela do resumo é uma string vazia.
Conjunto de dados do BigQuery	Table count	Tabelas	Número de tabelas no conjunto de dados.
Conjunto de dados do BigQuery	Uploaded bytes	Bytes por minuto	Número de bytes enviados para qualquer tabela no conjunto de dados.
Conjunto de dados do BigQuery	Linhas enviadas	Linhas por minuto	Número de registros enviados para qualquer tabela no conjunto de dados depot/google3/cloud/pulse/ingestion_schema/repository/bigquery_googleapis_com/metrics/aliased_metrics.gcl

Veja uma lista completa das métricas disponíveis do Google Cloud em Métricas do Google Cloud.

Problemas conhecidos

• Se nenhuma consulta estiver em execução, nenhum dado será retornado para slots alocados, slots disponíveis ou quaisquer variáveis relacionadas à consulta. Diminua o zoom para ver os dados.

• Se houver consultas em execução nos EUA e na UE, os slots alocados e os slots disponíveis poderão estar incorretos.

• Slots alocados são informados como o valor médio em uma janela de tempo (a largura da janela de tempo depende do nível de zoom do gráfico). Aumentar e diminuir o zoom pode alterar o valor dos slots alocados. O zoom em uma janela de tempo de 1 hora ou menos mostra os valores reais dos slots alocados. Nesse intervalo de qualquer período visível no gráfico, avg(slots allocated) = slots allocated.

• Os dados em gráficos do Cloud Monitoring pertencem somente ao projeto selecionado.

• As métricas são valores instantâneos, amostrados em um momento específico e podem não perder pontos de dados entre intervalos de amostra. Por exemplo, a métrica de contagem de jobs é amostrada a cada minuto. O valor é o número de jobs nesse momento específico, não o número máximo de vagas durante todo o minuto.