Monitorar a integridade, a utilização de recursos e os jobs

Como administrador do BigQuery, é possível usar gráficos de recursos para monitorar a integridade da organização, o uso de slots e o desempenho dos jobs ao longo do tempo. Os gráficos a seguir estão disponíveis:

  • Monitore a integridade operacional do BigQuery. O monitoramento da integridade operacional do BigQuery em tempo real é um sistema de monitoramento centralizado que permite observar o uso do BigQuery em toda a organização em vários locais.

  • Conferir a utilização de recursos administrativos. Os principais casos de uso dos gráficos de recursos administrativos incluem a análise da causa raiz do planejamento de capacidade com base na utilização histórica dos recursos e no diagnóstico de mudanças no desempenho.

Para visualizar o painel de integridade operacional, você precisa ter pelo menos uma reserva acessada com um projeto de administração. Os gráficos de recursos estão disponíveis para todos os usuários com as permissões corretas.

Funções exigidas

Para ter as permissões necessárias para visualizar todos os dados nos gráficos de recursos administrativos, peça ao administrador para conceder a você os seguintes papéis do IAM na sua organização:

Para mais informações sobre a concessão de papéis, consulte Gerenciar o acesso a projetos, pastas e organizações.

Esses papéis predefinidos contêm as permissões necessárias para visualizar todos os dados nos gráficos de recursos administrativos. Para conferir as permissões exatas necessárias, expanda a seção Permissões necessárias:

Permissões necessárias

As seguintes permissões são necessárias para visualizar todos os dados nos gráficos de recursos administrativos:

  • bigquery.jobs.listExecutionMetadata or bigquery.jobs.listAll na organização
  • bigquery.reservationAssignments.list no projeto de administração de reservas
  • bigquery.capacityCommitments.list no projeto de administração de reservas
  • Para ver dados de resumo sobre a integridade operacional: bigquery.tables.get or bigquery.tables.list na organização
  • Para ver dados parciais no nível da reserva:
    • bigquery.reservations.list no projeto de administração de reservas
    • bigquery.reservationAssignments.list no projeto de administração de reservas
  • Para conferir dados no nível do projeto: bigquery.jobs.listAll no projeto

Essas permissões também podem ser concedidas com funções personalizadas ou outros papéis predefinidos.

Monitorar a integridade operacional em uma organização

O painel de integridade operacional exibe as principais métricas da organização e as reservas dela em todos os locais onde você tem reservas. É possível usar esse painel para monitorar as seguintes métricas:

  • Uso de slots
  • Uso do embaralhamento
  • Simultaneidade de jobs
  • Erros
  • Duração do job
  • Bytes processados
  • Armazenamento total

Para monitorar a integridade operacional, siga estas etapas:

  1. Acessar a página do BigQuery.

    Acessar o BigQuery

  2. No menu do projeto, selecione o projeto de administração usado para comprar slots e criar reservas.

  3. No painel de navegação, selecione Administração > Monitoramento. Por padrão, o gráfico de integridade operacional exibe métricas resumidas para todos os locais e reservas.

  4. Para conferir os dados atualizados com mais frequência, alterne os Dados em tempo real. Se a opção Dados em tempo real estiver ativada, eles serão atualizados automaticamente a cada cinco minutos. Se a opção Dados em tempo real estiver desativada, a inatividade máxima dos dados será de aproximadamente uma hora. O horário da última atualização dos dados é exibido.

Para acessar a visualização detalhada, selecione os valores dos gráficos de linha do tempo detalhados que você quer:

  1. Na lista Selecionar local, escolha uma região específica.
  2. Na lista Selecionar reserva, escolha a opção desejada.
  3. Na lista Selecionar projeto, selecione o projeto.
  4. Na lista Período, selecione uma opção.
  5. Para mais informações sobre um dos principais gráficos de métricas, clique em Mostrar mais. Para mais informações na Análise de jobs, clique em Mostrar mais no gráfico Principais consultas ativas e na tabela Insights.

O BigQuery fornece essas informações consultando as seguintes visualizações INFORMATION_SCHEMA:

Visualizações

A guia Integridade operacional mostra as seguintes visualizações:

Visualização de resumo

A visualização de resumo apresenta uma visão da integridade dos subsistemas, incluindo reservas e regiões nos últimos 30 minutos, para sua organização.

Visualização de resumo administrativo do BigQuery.

Para acessar a visualização de resumo, faça o seguinte:

  • No gráfico Integridade operacional, na lista Selecionar local, selecione Todos os locais.

Visualização detalhada

A visualização detalhada mostra gráficos de cronograma detalhados de diferentes métricas em um local ou nível de reserva.

Visão geral administrativa detalhada do BigQuery

Para acessar a visualização detalhada, faça o seguinte:

  • No gráfico Integridade operacional, na lista Selecionar local, selecione a região ou edição.

É possível refinar ainda mais os dados exibidos na visualização detalhada usando os seguintes filtros opcionais:

  • Na lista Selecionar reserva, escolha o nome da reserva.
  • Na lista Selecionar projeto, selecione o projeto.

Gráficos

A guia Integridade operacional mostra as seguintes opções de configuração de gráfico:

Tabela de resumo

As tabelas de resumo exibem as seguintes métricas:

  • Uso de slots. A utilização média de slots. A capacidade total de slots é igual à capacidade de referência e à capacidade máxima escalonada automaticamente.
  • Uso do embaralhamento. O máximo de toda a proporção média de uso de embaralhamento de reserva.
  • Simultaneidade. O número máximo de jobs executados simultaneamente.
  • Bytes processados. O total de bytes processados por jobs concluídos.
  • Duração do job. O tempo médio de execução dos jobs concluídos, calculado a partir do momento em que o job foi criado até o momento em que ele foi encerrado.
  • Armazenamento total. O total de bytes lógicos ativos na última atualização.

Há duas tabelas de resumo apresentadas na visualização por local ou reservas. Cada linha da tabela representa um local ou um uso de reserva.

As tabelas exibem métricas referentes aos 30 minutos anteriores à última atualização. Se a opção Dados em tempo real estiver ativada, eles serão atualizados automaticamente a cada cinco minutos. Se a opção Dados em tempo real estiver desativada, a inatividade máxima dos dados será de aproximadamente uma hora.

A célula da tabela será codificada por cores se a métrica for maior que o limite. Todos os limites são predefinidos e não podem ser personalizados. O código de cores é aplicado quando há um aumento no número de insights de performance para trabalhos repetidos e um valor de métrica maior do que o normal. Se o valor da métrica nos 30 minutos anteriores à última atualização for maior que o valor de P99 do uso do mesmo dia da semana anterior, a célula da tabela será marcada com um fundo azul-escuro. Se o valor das métricas nos 30 minutos estiver entre o valor de P95 a P99 do uso do mesmo dia da semana anterior, a célula da tabela será marcada com um plano de fundo azul-claro.

Tabela de resumo administrativo do BigQuery.

Filtrar dados

É possível filtrar dados em gráficos com base nos seguintes valores:

Dados de filtro administrativo do BigQuery.

  • Local. As regiões em que a organização teve atividade nos últimos 30 dias estão disponíveis. A visualização resumida apresenta uma tabela de resumo por região para rastrear o uso em todas as regiões ativas.
  • Reserva. Esse campo está disponível somente para a visualização detalhada. Todas as reservas de propriedade dos projetos administrativos de visualização estão disponíveis. É possível escolher apenas uma reserva.
  • Projeto. Esse campo está disponível somente para a visualização detalhada. Todos os projetos que têm tráfego na organização estão disponíveis. Você só pode selecionar um projeto.
  • Intervalo de tempo. Esse campo está disponível somente para a visualização detalhada. Ela afeta os gráficos de linha do tempo de métricas e o gráfico de rosca de erro na visualização detalhada. A escala de dados nos gráficos de linha do tempo de métricas é ajustada automaticamente de acordo com o período selecionado.

Gráfico de principais consultas ativas

Este gráfico mostra os 10 principais jobs com recursos ativos classificados em ordem decrescente. Usando o menu suspenso, você pode selecionar uma opção de classificação com base no uso do slot ou na duração do job. O ID do job e o número de uso de recursos relevante são apresentados no gráfico de barras. Selecione Explore more ou o ID do job no gráfico das principais consultas ativas para conferir mais detalhes no Jobs explorer. Para saber mais sobre os detalhes de execução e diagnosticar problemas de desempenho nos jobs do BigQuery, consulte o gráfico de execução de consultas.

Barra da lista de jobs administrativos na parte superior do BigQuery.

Gráfico de rosca de erro

Este gráfico mostra a proporção das principais causas de falha no período selecionado. Na visualização de resumo, o padrão é cobrir os últimos 30 minutos. Na visualização detalhada, o seletor de intervalo de tempo controla a cobertura. É possível agrupar os erros por tipo, projeto de proprietário ou reserva. A contagem de jobs com falha é apresentada no gráfico de rosca.

Gráfico de rosca de erro do BigQuery.

Gráficos de cronograma de métricas

Esses gráficos mostram uma visão geral das métricas compatíveis por um período máximo de 30 dias. O período padrão é de uma hora. À medida que o período selecionado muda, a granularidade de cada ponto de dados no gráfico é dimensionada automaticamente.

Esses gráficos mostram um valor agregado em uma região ou reserva. Não é possível exibir dados de várias regiões ou reservas.

Gráficos de cronograma de métricas do BigQuery.

Os gráficos de cronograma de métricas são compatíveis com as seguintes métricas:

  • Uso de slots. O uso médio de slots no período selecionado. Ele exibe o uso geral de slots de todos os jobs e jobs com falha separadamente.
  • Simultaneidade de jobs. O número máximo de jobs executados simultaneamente no período selecionado. Ele exibe a contagem de jobs em execução e pendentes separadamente e é mostrado como um gráfico de barras empilhadas.
  • Bytes verificados. O total de bytes processados por jobs concluídos no período selecionado.
  • embaralhamento. O máximo de toda a proporção média de uso de embaralhamento da reserva no período selecionado.
  • Duração do job. O tempo médio de execução dos jobs concluídos no período selecionado, calculado do horário de criação do job até o horário de término.
  • Erro por tipo. O gráfico de rosca de erro mostra a proporção de diferentes causas de falha no período selecionado.

Além das tendências de métricas, esses gráficos mostram linhas de referência do valor das métricas P95 e P99 do uso do mesmo dia da semana passada. No gráfico de Simultaneidade do job, mostra o limite para a soma de jobs pendentes e em execução. Esses valores referenciados são usados como limites de codificação de cores na tabela de resumo.

Para saber mais sobre o gráfico, clique em Mostrar mais. A guia Utilização de recursos vai ser aberta.

Tabela de insights

Esta tabela agrega erros de cota, erros de acesso negado e insights de desempenho coletados durante as execuções de jobs no período selecionado. Os insights são agregados no nível da reserva. Cada linha fornece informações sobre o tipo de insight, o local, a reserva, os detalhes do insight e os IDs de job de amostra. Clique nos IDs de jobs para conferir mais detalhes no Análise de jobs. Na visualização de resumo, o período de observação padrão abrange os últimos 30 minutos. Na visualização detalhada, o seletor de intervalo de tempo controla o período específico em que os dados de observação são mostrados.

Tabela de insights do BigQuery.

Monitorar a integridade operacional de um único projeto

O painel de integridade operacional do projeto é a visualização padrão que você recebe se não tiver acesso a toda a organização ou se o projeto não tiver nenhuma reserva. Essa visualização pode ajudar os analistas de projetos a monitorar a integridade do sistema para os projetos, assim como o painel de integridade operacional no nível da organização, mas mostra apenas dados no nível do projeto nos gráficos e filtros.

Ver utilização de recursos

Os dados nos gráficos de recursos administrativos são baseados no acessoINFORMATION_SCHEMA.JOBS e o acesso de INFORMATION_SCHEMA.JOBS_TIMELINE, que são atualizados em tempo real, com duração máxima de 30 dias.

É possível visualizar a utilização de recursos do BigQuery usando os gráficos de recursos administrativos. Esses gráficos de recursos têm os três componentes interativos principais a seguir:

  • O gráfico de linha do tempo de eventos exibe uma visão geral dos dados em até 30 dias, no máximo. O padrão é "1 dia".

  • O gráfico principal exibe as métricas selecionadas (uso de slots, simultaneidade de jobs, desempenho de jobs, erros ou bytes processados) ao longo do tempo para a organização ou o projeto administrativo de reservas. Ele inclui uma legenda da tabela que se correlaciona com os dados do gráfico, mostrando estatísticas mais detalhadas agregadas ao longo do período.

  • Um painel lateral para escolher diferentes gráficos, detalhamentos e opções de filtro.

O diagrama a seguir fornece uma visão geral de várias opções de gráfico administrativo no BigQuery:

Visão geral dos gráficos de recursos administrativos do BigQuery.

Antes de começar

  1. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

    É possível criar um projeto de administrador de reserva do Google Cloud para gerenciar a reserva com um nome descritivo, como bq-COMPANY_NAME-admin.

  2. Make sure that billing is enabled for your Google Cloud project.

  3. Enable the BigQuery Reservation API.

    Enable the API

    Para mais informações, consulte Ativar a API BigQuery Reservation.

  4. No Console do Google Cloud, veja suas cotas de slots:

    Ver suas cotas de slot

    Para adquirir slots, é preciso ter cota suficiente para a região em que você quer comprar slots.

    Se a cota para a região for menor que o número de slots que você quer comprar, consulte Solicitar um aumento de cota.

Ver gráficos de recursos administrativos

Por padrão, você tem acesso aos gráficos de recursos administrativos da edição ao navegar por meio do projeto administrativo de reserva. É possível alternar entre os gráficos de recursos administrativos sob demanda e os gráficos de recursos administrativos da edição por meio do projeto administrativo de reserva (Prévia).

Para ver os gráficos de recursos administrativos, siga estas etapas:

  1. Acessar a página do BigQuery.

    Acessar o BigQuery

  2. No menu do projeto, selecione o projeto administrativo usado para comprar slots e criar reservas.

  3. No painel de navegação, selecione Administração > Monitoramento.

  4. Na seção Opções de gráfico > Escopo, é possível selecionar o modelo de faturamento na lista, que inclui três tipos de edições e a opção sob demanda. Por padrão, o modelo de faturamento é definido com a edição Enterprise.

  5. Na seção Opções de gráfico > Configurações de gráfico, faça o seguinte:

    1. Na lista Gráfico, selecione o tipo de gráfico. Para informações sobre as diferentes opções de gráfico, consulte Opções de gráfico.
    2. Na lista Métricas, selecione o tipo de métrica disponível.
    3. Na lista Agrupar por, selecione a dimensão pela qual você quer agrupar os dados no gráfico. Para informações sobre diferentes dimensões, consulte Agrupar por opções.
    4. Na lista Filtros, selecione as opções de filtro disponíveis. Para informações sobre filtros diferentes, consulte Filtros e pesquisa.
    5. Defina o período para o qual você quer visualizar os dados no gráfico.

Configurações de gráfico

É possível ajustar a visualização dos gráficos de recursos administrativos alterando as opções de configuração de gráfico a seguir:

Opções do gráfico

O BigQuery fornece os seguintes tipos de métricas para exibir nos gráficos:

  • Uso de slots. Uso médio de slot. Se a opção Agrupar por estiver definida como Geral ou se os Filtros forem Nenhum ou uma única reserva, as métricas de capacidade e uso de slot emprestado também vão aparecer.

    • Uso total. O uso médio de slots no período selecionado.
    • Uso de slots emprestados. Uso médio em excesso da capacidade da reserva. Isso geralmente são slots inativos emprestados de outras reservas e compromissos ou imprecisão de arredondamento nos dados de uso.
    • Capacidade de compromisso. O tamanho do compromisso da edição.
    • Capacidade de referência. O tamanho de referência da reserva.
    • Capacidade de escalonamento automático. O tamanho do slot com escalonamento automático.
    • Capacidade máxima. O número máximo de slots a que o usuário tem acesso.

  • Simultaneidade do job: número máximo de jobs executados simultaneamente no período de tempo selecionado.

  • Desempenho do job: tempo médio de execução dos jobs concluídos, calculado a partir do momento da criação do job.

  • Jobs com falha. Uso médio de slot no período selecionado de jobs com falha.

  • Bytes processados: total de bytes processados por jobs concluídos no período selecionado.

  • Uso de embaralhamento: a proporção média de uso do embaralhamento no período selecionado (visualização).

Componentes da tabela

A tabela exibe métricas relevantes ao período e dimensão selecionados no gráfico do recurso administrativo:

O gráfico Uso de slots exibe o Uso médio de slots de todos os jobs executados durante o período selecionado. Os jobs que não foram concluídos dentro do período selecionado incluem apenas os slots usados no período especificado.

Para o gráfico Desempenho do job, o componente da tabela exibe os seguintes dados:

  • Número de jobs: o número de jobs concluídos ou executados parcialmente no período selecionado.

  • Duração média do job: a duração média do job para jobs concluídos que foram parcialmente executados no período selecionado.

  • Duração média do job: a duração média do job para jobs concluídos que pelo menos foram executados parcialmente no período selecionado.

  • Duração mínima do job. A duração mínima dos jobs concluídos que foram parcialmente executados dentro do período selecionado. Essa coluna fica oculta por padrão, mas é possível ativá-la em Opções de exibição de colunas.

  • Duração máxima do job. A duração máxima dos jobs concluídos que foram pelo menos parcialmente executados no período selecionado. Essa coluna fica oculta por padrão, mas é possível ativá-la em Opções de exibição de colunas.

Para o gráfico Jobs com falha, o componente da tabela exibe os seguintes dados:

  • Uso médio de slot: igual ao gráfico de Uso de slot, mas somente para jobs com falha.

  • Total de jobs com falha: o número de jobs com falha no período selecionado.

Agrupar por opções

Com base no tipo de gráfico, você pode agrupar dados na visualização do gráfico por várias dimensões:

  • Geral. A visualização geral é uma visão geral de alto nível da métrica selecionada ao longo de toda a organização. Para uso do slot, a capacidade e o uso são mostrados no mesmo gráfico para dar uma ideia da utilização geral do slot ao longo do tempo.

  • Projeto. A visualização "Projeto" mostra a métrica selecionada agrupada por projeto. Se uma organização tiver mais de 10 projetos, apenas os 10 principais projetos com o maior uso de slot, simultaneidade de job, duração do job ou jobs com falha no período selecionado serão exibidos. Para o uso do slot, todos os outros projetos são agrupados na categoria Outros na parte inferior do gráfico para facilitar a comparação com a capacidade geral.

  • Todos os outros grupos por visualizações são semelhantes à visualização do projeto, com dados agrupados pela respectiva dimensão.

Opção de período

É possível modificar o período das seguintes maneiras:

  • Selecione e arraste o período no gráfico de linha do tempo de eventos.

  • Selecione e arraste o período no gráfico principal.

O período de alinhamento é atualizado automaticamente à medida que o período selecionado é alterado. Quanto menor o período de alinhamento, mais detalhada é a visualização. Para visualizar melhor os recursos que mudam com frequência, como a opção Uso de slots, reduza o período de alinhamento.

Para restringir os dados do gráfico, aplique filtros no painel de filtros. Alguns filtros só estão disponíveis para determinados gráficos. Os filtros Reservas, Pastas, Projetos e Usuários são preenchidos com os respectivos recursos que consumiram slots no período. Por exemplo, se um projeto não tiver sido usado nos últimos 30 dias, ele não aparecerá na lista de filtros do projeto.

O gráfico é atualizado depois da aplicação de filtros para mostrar os dados nos parâmetros selecionados.

Conferir os dados de gráficos administrativos no nível do projeto

É possível ajustar o escopo nas Opções de gráfico a fim de gerar uma visão geral dos gráficos administrativos no nível do projeto. Essa visualização pode ajudar os analistas de projetos a monitorar a utilização de recursos nos próprios projetos, e é semelhante aos gráficos administrativos no nível da organização, com exceção de algumas opções de gráfico e agrupamentos por opções que não aplicáveis. Essa visualização mostra a utilização geral de recursos, independentemente do modo de faturamento, no projeto contextual.

Visão geral dos gráficos de recursos administrativos no nível do projeto do BigQuery.

Por padrão, quando você navega para os gráficos administrativos de um projeto que não é de administrador com permissões no nível da organização, ele alterna para o nível do projeto. Para retornar à visualização correta, use o menu suspenso Escopo em Opções de gráfico.

Faturamento

Os gráficos de recursos administrativos estão disponíveis sem custo adicional. As consultas usadas para preencher esses gráficos não são faturadas e não usam slots em reservas de usuários. As consultas que processam muitos dados expiram.

A seguir