Monitorar o BI Engine

BigQuery BI Engine trabalha com os serviços do Google Cloud para ajudar a monitorar e resolver problemas de uso do BI Engine.

Cloud Monitoring

O BigQuery BI Engine se integra ao Cloud Monitoring para que você possa monitorar o uso agregado do BI Engine em conjunto e configurar alertas. Para conferir informações sobre o uso do Monitoring para criar painéis para suas métricas do BI Engine, consulte Como criar gráficos na documentação do Monitoring.

As seguintes métricas são fornecidas para o BigQuery BI Engine:

Recurso Metric Detalhes
Projeto do BigQuery Total de bytes da reserva Capacidade total alocada para um projeto do Google Cloud
Projeto do BigQuery Bytes de reserva usados Capacidade total usada em um projeto do Google Cloud
Projeto do BigQuery Bytes em cache das principais tabelas do BI Engine Uso do cache por tabela. Essa métrica exibe as N principais tabelas por uso de relatórios de região.

As métricas a seguir também são fornecidas pelo BI Engine ao usar o Looker Studio.

Recurso Metric Detalhes
Modelo do BigQuery BI Engine Solicitações em tempo real Número de solicitações simultâneas para um modelo (máximo no período de amostra)
Modelo do BigQuery BI Engine Contagem de solicitações Número total de pedidos que foram emitidos para um modelo
Modelo do BigQuery BI Engine Tempos de execução da solicitação Latência de execução da consulta mediana

É possível usar o Cloud Monitoring para conferir o tráfego das fontes de dados do Looker Studio que foram armazenadas em cache pelo BI Engine. Quando você visualiza métricas do BI Engine em um widget do Cloud Monitoring, o ID do modelo é exibido como a dimensão da métrica. Para encontrar o ID do modelo do BigQuery BI Engine, abra o modelo do Looker Studio em um navegador da Web. O ID do modelo é a parte do URL após datasources/. Por exemplo, https://lookerstudio.google.com/c/u/0/datasources/<model_id>.

Confira uma lista completa das métricas disponíveis do Google Cloud em Métricas do Google Cloud.

A integração nativa do BigQuery com o Looker Studio não fornece métricas por modelo. Em vez disso, expõe IDs de fonte de dados e de relatórios nas tabelas INFORMATION_SCHEMA com o monitoramento da API BigQuery.

Estatísticas de consulta para o BI Engine

Nesta seção, explicamos como encontrar estatísticas de consulta para ajudar a monitorar, diagnosticar e resolver problemas de uso do BI Engine.

Modos de aceleração do BI Engine

Com a aceleração do BI Engine ativada, sua consulta pode ser executada em qualquer um destes três modos:


BI_ENGINE_DISABLED
 O BI Engine desativou a aceleração. biEngineReasons especifica um motivo mais detalhado. A consulta foi executada usando o mecanismo de execução do BigQuery. 

PARTIAL_INPUT
 Parte da consulta foi acelerada usando o BI Engine. Conforme descrito em Otimização e aceleração de consultas, um plano de consulta geralmente é dividido em vários estágios de entrada. O BI Engine é compatível com os tipos comuns de padrões de subconsulta que normalmente são usados no painel. Se a consulta consistir em vários estágios de entrada, e apenas alguns deles se enquadrarem nos casos de uso compatíveis, o BI Engine executa os estágios não compatíveis usando o mecanismo normal do BigQuery sem aceleração. Nessa situação, o BI Engine retorna um código de aceleração PARTIAL e usa biEngineReasons para preencher o motivo para não acelerar outros estágios de entrada. 

 FULL_INPUT
Todos os estágios de entrada da consulta foram acelerados usando o BI Engine. 

 FULL_QUERY
Toda a consulta foi acelerada usando o BI Engine.

Estatísticas do job da API BigQuery

Estatísticas detalhadas sobre o BI Engine estão disponíveis na API BigQuery.

Para buscar as estatísticas associadas às consultas aceleradas do BI Engine, execute o seguinte comando da ferramenta de linha de comando:

bq show --format=prettyjson -j job_id

Se o projeto estiver ativado para aceleração do BI Engine, a saída produzirá um novo campo, biEngineStatistics. Confira um exemplo de relatório de job:

 "statistics": {
    "creationTime": "1602175128902",
    "endTime": "1602175130700",
    "query": {
      "biEngineStatistics": {
        "biEngineMode": "DISABLED",
        "biEngineReasons": [
          {
            "code": "UNSUPPORTED_SQL_TEXT",
            "message": "Detected unsupported join type"
          }
        ]
      },

Para mais informações sobre o campo BiEngineStatistics, consulte a referência do job.

Estatísticas do BigQuery INFORMATION_SCHEMA

As estatísticas de aceleração do BI Engine estão incluídas nas visualizações do BigQueryINFORMATION_SCHEMA como parte dasINFORMATION_SCHEMA.JOBS_BY_* visualizações embi_engine_statistics. Por exemplo, esta consulta retorna a bi_engine_statistics de todos os jobs dos projetos atuais nas últimas 24 horas:

SELECT
  creation_time,
  job_id,
  bi_engine_statistics
FROM
  `region-us`.INFORMATION_SCHEMA.JOBS_BY_PROJECT
WHERE
  creation_time BETWEEN TIMESTAMP_SUB(CURRENT_TIMESTAMP(), INTERVAL 1 DAY)
  AND CURRENT_TIMESTAMP()
  AND job_type = "QUERY"

Use o seguinte formato para especificar a regionalidade de project-id, region e views na visualização INFORMATION_SCHEMA: 

`PROJECT_ID`.`region-REGION_NAME`.INFORMATION_SCHEMA.VIEW

Cloud Logging

É possível visualizar as informações de registro sobre o BI Engine na página do Cloud Logging no console do Google Cloud. A visualização das informações de registro do BI Engine depende da ferramenta que consulta os dados:

  • Para consultas do Looker Studio sem a integração nativa do Looker Studio ativada: é possível acessar as informações de registro na página Cloud Logging com um payload de protoPayload.serviceName="bigquerybiengine.googleapis.com".
  • Para todos os outros tipos de tráfego: é possível acessar as informações de registro na página Cloud Logging com um payload de protoPayload.serviceName="bigquery.googleapis.com".

A seguir