Monitorar a integridade, a utilização de recursos e os jobs

Como administrador do BigQuery, é possível usar gráficos de recursos administrativos para monitorar a integridade da organização, o uso de slots e o desempenho dos jobs do BigQuery ao longo do tempo.

Para visualizar o painel de integridade operacional, você precisa ter pelo menos uma reserva acessada com um projeto de administração. Os gráficos de recursos e o Explorador de jobs estão disponíveis para todos os usuários com as permissões corretas.

Funções exigidas

Para ter as permissões necessárias para visualizar todos os dados nos gráficos de recursos administrativos, peça ao administrador para conceder a você os seguintes papéis do IAM na sua organização:

Para mais informações sobre como conceder papéis, consulte Gerenciar acesso.

Esses papéis predefinidos contêm as permissões necessárias para visualizar todos os dados nos gráficos de recursos administrativos. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para visualizar todos os dados nos gráficos de recursos administrativos:

  • bigquery.jobs.listExecutionMetadata na organização.
  • bigquery.jobs.listAll na organização.
  • bigquery.reservationAssignments.list no projeto de administração de reservas
  • bigquery.capacityCommitments.list no projeto de administração de reservas
  • Para ver dados de resumo sobre a integridade operacional: bigquery.tables.get or bigquery.tables.list na organização
  • Para ver dados parciais no nível da reserva:
    • bigquery.reservations.list no projeto de administração de reservas
    • bigquery.reservationAssignments.list no projeto de administração de reservas
  • Para ver os dados de capacidade de reserva nos gráficos de recursos administrativos: bigquery.capacityCommitments.list no projeto do administrador de reserva
  • Para conferir dados no nível do projeto: bigquery.jobs.listAll no projeto

Essas permissões também podem ser concedidas com papéis personalizados ou outros papéis predefinidos.

Monitorar a integridade operacional em uma organização

Para solicitar feedback ou suporte para esse recurso, envie um e-mail para bq-operational-health+feedback@google.com.

O painel de integridade operacional exibe as principais métricas da organização e as reservas dela em todos os locais onde você tem reservas. É possível usar esse painel para monitorar métricas, incluindo:

  • Uso de slots
  • Uso do embaralhamento
  • Simultaneidade de jobs
  • Erros
  • Duração do job
  • Bytes processados
  • Armazenamento total

O BigQuery fornece essas informações consultando as seguintes visualizações INFORMATION_SCHEMA:

Para monitorar a integridade operacional, siga estas etapas:

  1. Acessar a página do BigQuery.

    Acessar o BigQuery

  2. No menu do projeto, selecione o projeto de administração usado para comprar slots e criar reservas.

  3. No painel de navegação, selecione Administração > Monitoramento. Por padrão, o gráfico de integridade operacional exibe métricas resumidas para todos os locais e reservas.

  4. Para conferir os dados atualizados com mais frequência, alterne os Dados em tempo real. Se a opção Dados em tempo real estiver ativada, eles serão atualizados automaticamente a cada cinco minutos. Se a opção Dados em tempo real estiver desativada, a inatividade máxima dos dados será de aproximadamente uma hora. O horário da última atualização dos dados é exibido.

Para acessar a visualização detalhada, selecione os valores dos gráficos de linha do tempo detalhados que você quer:

  1. Na lista Selecionar local, escolha uma região específica.
  2. Na lista Selecionar reserva, escolha a opção desejada.
  3. Na lista Período, selecione uma opção.
  4. Para ver mais informações sobre um dos principais gráficos de métricas, clique em Explorar mais. Para mais informações no gráfico do Explorador de jobs, clique em Explorar mais no gráfico das principais consultas ativas.

Visualizações

A guia Integridade operacional mostra as seguintes visualizações:

Visualização de resumo

A visualização de resumo apresenta uma visão da integridade dos subsistemas, incluindo reservas e regiões nos últimos 30 minutos, para sua organização.

Visualização de resumo administrativo do BigQuery.

Para acessar a visualização de resumo, faça o seguinte:

  • No gráfico Integridade operacional, na lista Selecionar local, escolha Todos os locais.

Visualização detalhada

A visualização detalhada mostra gráficos de cronograma detalhados de diferentes métricas em um local ou nível de reserva.

Visão geral administrativa detalhada do BigQuery

Para acessar a visualização detalhada, faça o seguinte:

  • No gráfico Integridade operacional, na lista Selecionar local, selecione a região ou edição, ou selecione o nome da reserva na lista Selecionar reserva.

Gráficos

A guia Integridade operacional mostra as seguintes opções de configuração de gráfico:

Tabela de resumo

As tabelas de resumo exibem as seguintes métricas:

  • Uso de slots. A utilização média de slots. A capacidade total de slots é igual à capacidade de referência e à capacidade máxima escalonada automaticamente.
  • Uso do embaralhamento. O máximo de toda a proporção média de uso de embaralhamento de reserva.
  • Simultaneidade. O número máximo de jobs executados simultaneamente.
  • Bytes processados. O total de bytes processados por jobs concluídos.
  • Duração do job. O tempo médio de execução dos jobs concluídos, calculado a partir do momento em que o job foi criado até o momento em que ele foi encerrado.
  • Armazenamento total. O total de bytes lógicos ativos na última atualização.

Há duas tabelas de resumo apresentadas na visualização por local ou reservas. Cada linha da tabela representa um local ou um uso de reserva.

As tabelas exibem métricas referentes aos 30 minutos anteriores à última atualização. Se a opção Dados em tempo real estiver ativada, eles serão atualizados automaticamente a cada cinco minutos. Se a opção Dados em tempo real estiver desativada, a inatividade máxima dos dados será de aproximadamente uma hora.

A célula da tabela será codificada por cores se a métrica for maior que o limite. Todos os limites são predefinidos e não podem ser personalizados. Se o valor da métrica nos últimos 30 minutos for maior que o valor de P99 do uso do dia anterior, a célula da tabela será marcada com um fundo azul-escuro. Se o valor das métricas nos 30 minutos anteriores à última atualização estiver entre o valor de P95 a P99 do uso do dia anterior, a célula da tabela será marcada com um plano de fundo azul-claro.

Tabela de resumo administrativo do BigQuery.

Filtrar dados

É possível filtrar dados em gráficos com base nos seguintes valores:

Dados de filtro administrativo do BigQuery.

  • Local. As regiões em que a organização teve atividade nos últimos 30 dias estão disponíveis. A visualização resumida apresenta uma tabela de resumo por região para rastrear o uso em todas as regiões ativas.
  • Reserva. Esse campo pode ser selecionado depois que você seleciona uma região. Todas as reservas de propriedade dos projetos administrativos de visualização estão disponíveis. É possível escolher apenas uma reserva.
  • Intervalo de tempo. Esse campo está disponível somente para a visualização detalhada. Ela afeta os gráficos de linha do tempo de métricas e o gráfico de rosca de erro na visualização detalhada. A escala de dados nos gráficos de linha do tempo de métricas é ajustada automaticamente de acordo com o período selecionado.

Gráfico de principais consultas ativas

Este gráfico mostra os 10 principais jobs com recursos ativos classificados em ordem decrescente. Usando o menu suspenso, você pode selecionar uma opção de classificação com base no uso do slot ou na duração do job. O ID do job e o número de uso de recursos relevante são apresentados no gráfico de barras. Selecione Explorar mais no gráfico de principais consultas ativas para ver o Explorador de jobs. Para saber mais sobre os detalhes de execução e diagnosticar problemas de desempenho nos jobs do BigQuery, consulte o gráfico de execução de consultas.

Barra da lista de jobs administrativos na parte superior do BigQuery.

Gráfico de rosca de erro

Este gráfico mostra a proporção das principais causas de falha no período selecionado. Na visualização de resumo, o padrão é cobrir os últimos 30 minutos. Na visualização detalhada, o seletor de intervalo de tempo controla a cobertura. É possível agrupar os erros por tipo, projeto de proprietário ou reserva. A contagem de jobs com falha é apresentada no gráfico de rosca.

Gráfico de rosca de erro do BigQuery.

Gráficos de cronograma de métricas

Esses gráficos mostram uma visão geral das métricas compatíveis por um período máximo de 30 dias. O período padrão é de uma hora. À medida que o período selecionado muda, a granularidade de cada ponto de dados no gráfico é dimensionada automaticamente.

Esses gráficos mostram um valor agregado em uma região ou reserva. Não é possível exibir dados de várias regiões ou reservas.

Gráficos de cronograma de métricas do BigQuery.

Os gráficos de cronograma de métricas são compatíveis com as seguintes métricas:

  • Uso de slots. O uso médio de slots no período selecionado. Ele exibe o uso geral de slots de todos os jobs e jobs com falha separadamente.
  • Simultaneidade de jobs. O número máximo de jobs executados simultaneamente no período selecionado. Ele exibe a contagem de jobs em execução e pendentes separadamente e é mostrado como um gráfico de barras empilhadas.
  • Bytes verificados. O total de bytes processados por jobs concluídos no período selecionado.
  • embaralhamento. O máximo de toda a proporção média de uso de embaralhamento da reserva no período selecionado.
  • Duração do job. O tempo médio de execução dos jobs concluídos no período selecionado, calculado do horário de criação do job até o horário de término.
  • Erro por tipo. O gráfico de rosca de erro mostra a proporção de diferentes causas de falha no período selecionado.

Além das tendências de métricas, esses gráficos mostram linhas de referência do valor das métricas P95 e P99 do uso do dia anterior. No gráfico de Simultaneidade do job, mostra o limite para a soma de jobs pendentes e em execução. Esses valores referenciados são usados como limites de codificação de cores na tabela de resumo.

Para saber mais sobre o gráfico, clique em Explorar mais. A guia Utilização de recursos vai ser aberta.

Ver utilização de recursos

Os dados nos gráficos de recursos administrativos são baseados na visualização INFORMATION_SCHEMA.JOBS e nas atualizações em tempo real, voltando no máximo 30 dias.

É possível visualizar a utilização de recursos do BigQuery usando os gráficos de recursos administrativos. Esses gráficos de recursos têm os três componentes interativos principais a seguir:

  • O gráfico de linha do tempo de eventos exibe uma visão geral dos dados em até 30 dias, no máximo. O padrão é "1 dia".

  • O gráfico principal exibe as métricas selecionadas (uso de slots, simultaneidade de jobs, desempenho de jobs, erros ou bytes processados) ao longo do tempo para a organização ou o projeto administrativo de reservas. Ele inclui uma legenda da tabela que se correlaciona com os dados do gráfico, mostrando estatísticas mais detalhadas agregadas ao longo do período.

  • Um painel lateral para escolher diferentes gráficos, detalhamentos e opções de filtro.

O diagrama a seguir fornece uma visão geral de várias opções de gráfico administrativo no BigQuery:

Visão geral dos gráficos de recursos administrativos do BigQuery.

Antes de começar

  1. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

    Acessar o seletor de projetos

    É possível criar um projeto de administrador de reserva do Google Cloud para gerenciar a reserva com um nome descritivo, como bq-COMPANY_NAME-admin.

  2. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

  3. Ative a BigQuery Reservation API.

    Ative a API

    Para mais informações, consulte Ativar a API BigQuery Reservation.

  4. No Console do Google Cloud, veja suas cotas de slots:

    Ver suas cotas de slot

    Para adquirir slots, é preciso ter cota suficiente para a região em que você quer comprar slots.

    Se a cota para a região for menor que o número de slots que você quer comprar, consulte Solicitar um aumento de cota.

Ver gráficos de recursos administrativos

Por padrão, você tem acesso aos gráficos de recursos administrativos da edição ao navegar por meio do projeto administrativo de reserva. É possível alternar entre os gráficos de recursos administrativos sob demanda e os gráficos de recursos administrativos da edição por meio do projeto administrativo de reserva (Prévia).

Para ver os gráficos de recursos administrativos, siga estas etapas:

  1. Acessar a página do BigQuery.

    Acessar o BigQuery

  2. No menu do projeto, selecione o projeto administrativo usado para comprar slots e criar reservas.

  3. No painel de navegação, selecione Administração > Monitoramento.

  4. Na seção Opções de gráfico > Escopo, é possível selecionar o modelo de faturamento na lista, que inclui três tipos de edições e a opção sob demanda. Por padrão, o modelo de faturamento é definido com a edição Enterprise.

  5. Na seção Opções de gráfico > Configurações de gráfico, faça o seguinte:

    1. Na lista Gráfico, selecione o tipo de gráfico. Para informações sobre as diferentes opções de gráfico, consulte Opções de gráfico.
    2. Na lista Métricas, selecione o tipo de métrica disponível.
    3. Na lista Agrupar por, selecione a dimensão pela qual você quer agrupar os dados no gráfico. Para informações sobre diferentes dimensões, consulte Agrupar por opções.
    4. Na lista Filtros, selecione as opções de filtro disponíveis. Para informações sobre filtros diferentes, consulte Filtros e pesquisa.
    5. Defina o período para o qual você quer visualizar os dados no gráfico.

Configurações de gráfico

É possível ajustar a visualização dos gráficos de recursos administrativos alterando as opções de configuração de gráfico a seguir:

Opções do gráfico

O BigQuery fornece os seguintes tipos de métricas para exibir nos gráficos:

  • Uso de slots. O uso médio de slots no período selecionado. As capacidades e o uso de slots inativos se aplicam nas seguintes condições:

    • Agrupar por opção é "Geral".
    • Nenhum filtro ou filtro por uma única reserva.

  • Simultaneidade do job: número máximo de jobs executados simultaneamente no período de tempo selecionado.

  • Desempenho do job: tempo médio de execução dos jobs concluídos, calculado a partir do momento da criação do job.

  • Jobs com falha. Uso médio de slot no período selecionado de jobs com falha.

  • Bytes processados: total de bytes processados por jobs concluídos no período selecionado.

  • Uso de embaralhamento: a proporção média de uso do embaralhamento no período selecionado (visualização).

Componentes da tabela

A tabela exibe métricas relevantes ao período e dimensão selecionados no gráfico do recurso administrativo:

O gráfico Uso de slots exibe o Uso médio de slots de todos os jobs executados durante o período selecionado. Os jobs que não foram concluídos dentro do período selecionado incluem apenas os slots usados no período especificado.

Para o gráfico Desempenho do job, o componente da tabela exibe os seguintes dados:

  • Número de jobs: o número de jobs concluídos ou executados parcialmente no período selecionado.

  • Duração média do job: a duração média do job para jobs concluídos que foram parcialmente executados no período selecionado.

  • Duração média do job: a duração média do job para jobs concluídos que pelo menos foram executados parcialmente no período selecionado.

  • Duração mínima do job. A duração mínima dos jobs concluídos que foram parcialmente executados dentro do período selecionado. Essa coluna fica oculta por padrão, mas é possível ativá-la em Opções de exibição de colunas.

  • Duração máxima do job. A duração máxima dos jobs concluídos que foram pelo menos parcialmente executados no período selecionado. Essa coluna fica oculta por padrão, mas é possível ativá-la em Opções de exibição de colunas.

Para o gráfico Jobs com falha, o componente da tabela exibe os seguintes dados:

  • Uso médio de slot: igual ao gráfico de Uso de slot, mas somente para jobs com falha.

  • Total de jobs com falha: o número de jobs com falha no período selecionado.

Agrupar por opções

Com base no tipo de gráfico, você pode agrupar dados na visualização do gráfico por várias dimensões:

  • Geral. A visualização geral é uma visão geral de alto nível da métrica selecionada ao longo de toda a organização. Para uso do slot, a capacidade e o uso são mostrados no mesmo gráfico para dar uma ideia da utilização geral do slot ao longo do tempo.

  • Projeto. A visualização "Projeto" mostra a métrica selecionada agrupada por projeto. Se uma organização tiver mais de 10 projetos, apenas os 10 principais projetos com o maior uso de slot, simultaneidade de job, duração do job ou jobs com falha no período selecionado serão exibidos. Para o uso do slot, todos os outros projetos são agrupados na categoria Outros na parte inferior do gráfico para facilitar a comparação com a capacidade geral.

  • Todos os outros grupos por visualizações são semelhantes à visualização do projeto, com dados agrupados pela respectiva dimensão.

Opção de período

É possível modificar o período das seguintes maneiras:

  • Selecione e arraste o período no gráfico de linha do tempo de eventos.

  • Selecione e arraste o período no gráfico principal.

O período de alinhamento é atualizado automaticamente à medida que o período selecionado é alterado. Quanto menor o período de alinhamento, mais detalhada é a visualização. Para visualizar melhor os recursos que mudam com frequência, como a opção Uso de slots, reduza o período de alinhamento.

Para restringir os dados do gráfico, aplique filtros no painel de filtros. Alguns filtros só estão disponíveis para determinados gráficos. Os filtros Reservas, Pastas, Projetos e Usuários são preenchidos com os respectivos recursos que consumiram slots no período. Por exemplo, se um projeto não tiver sido usado nos últimos 30 dias, ele não aparecerá na lista de filtros do projeto.

O gráfico é atualizado depois da aplicação de filtros para mostrar os dados nos parâmetros selecionados.

Conferir os dados de gráficos administrativos no nível do projeto

É possível ajustar o escopo nas Opções de gráfico a fim de gerar uma visão geral dos gráficos administrativos no nível do projeto. Essa visualização pode ajudar os analistas de projetos a monitorar a utilização de recursos nos próprios projetos, e é semelhante aos gráficos administrativos no nível da organização, com exceção de algumas opções de gráfico e agrupamentos por opções que não aplicáveis. Essa visualização mostra a utilização geral de recursos, independentemente do modo de faturamento, no projeto contextual.

Visão geral dos gráficos de recursos administrativos no nível do projeto do BigQuery.

Por padrão, quando você navega para os gráficos administrativos de um projeto que não é de administrador com permissões no nível da organização, ele alterna para o nível do projeto. Para retornar à visualização correta, use o menu suspenso Escopo em Opções de gráfico.

Ver o explorador de jobs administrativos

O BigQuery fornece detalhes e insights de consultas consultando as seguintes visualizações INFORMATION_SCHEMA:

Como essas visualizações INFORMATION_SCHEMA são regionalizadas, é possível visualizar os jobs correspondentes com base na região selecionada.

Filtrar jobs

Para filtrar jobs para consultas contidas em INFORMATION_SCHEMA.JOBS* views, siga estas etapas:

  1. Acessar a página do BigQuery.

    Acessar o BigQuery

  2. No menu do projeto, selecione o projeto administrativo usado para comprar slots e criar reservas.

  3. No painel de navegação, selecione Administração > Monitoramento.

  4. Clique na guia Explorador de jobs.

  5. Na lista Local, selecione o local onde você quer visualizar os jobs. É possível ver a lista de todos os jobs de consulta executados contidos nas visualizações INFORMATION_SCHEMA.JOBS para esse local.

    Também é possível ver as consultas ativas e na fila, além do uso total de slots no último minuto.

  6. Filtre as vagas usando as opções. Filtre as vagas usando as opções.

    Figura 1. Filtrar jobs.

    Na Figura 1, as opções para filtrar jobs são as seguintes:

    • Intervalo de tempo em que os jobs foram executados.
    • Escopo do trabalho, como projeto e organização.
    • Status do job, como em execução, pendente, concluído e erro.
    • IDs dos jobs.
    • ID do e-mail do proprietário dos jobs de administrador.
    • Os jobs que levaram mais tempo do que o horário de slot especificado.
    • Duração do job.
    • Jobs que processaram mais bytes do que os bytes processados especificados.
    • Tipos de insights de consulta, como contenção de slot, capacidade de embaralhamento de memória excedida e mudança na escala de entrada de dados.
    • O hash de consulta contém os hashes da consulta. É um hash STRING hexadecimal que ignora comentários, valores de parâmetros, UDFs e literais. Esse campo aparece para consultas bem-sucedidas do GoogleSQL que não são ocorrências em cache.

Mais detalhes da execução da consulta

Para visualizar detalhes da execução da consulta dos jobs, siga estas etapas:

  1. Acesse a página Monitoramento.

    Acessar Monitoring

  2. Para ver os jobs, clique em Explorador de jobs.

  3. É possível filtrar jobs para visualizar jobs limitados.

  4. Clique em um job para o qual você quer ver os detalhes da execução da consulta.

  5. No painel Resultados da consulta, você pode clicar na guia Gráfico de execução para ver os detalhes da execução dos jobs de administrador.

    Gráfico de execução para jobs.

    Figura 2. Gráfico de execução para jobs.

Para informações sobre como interpretar insights, consulte Interpretar insights de desempenho de consultas.

Faturamento

Os gráficos de recursos administrativos e o explorador de jobs estão disponíveis sem custo adicional. As consultas usadas para preencher esses gráficos não são faturadas e não usam slots em reservas de usuários. As consultas que processam muitos dados expiram.

A seguir