Monitorize o estado, a utilização de recursos e as tarefas

Enquanto administrador do BigQuery, pode monitorizar o estado, a utilização de slots e o desempenho dos trabalhos da sua organização ao longo do tempo com gráficos de estado operacional e utilização de recursos. O BigQuery oferece gráficos configuráveis para ajudar com o seguinte:

• Monitorize o estado operacional do BigQuery. A monitorização do estado de funcionamento operacional em tempo real do BigQuery é um sistema de monitorização centralizado que lhe permite observar a utilização do BigQuery na organização em várias localizações.

• Veja a utilização de recursos do BigQuery. Use dados do histórico para fazer uma análise de causa principal, planear a capacidade e diagnosticar alterações no desempenho.

Antes de começar

• Para ver o estado operacional, tem de usar reservas às quais pode aceder com um projeto de administração. Isto não é um requisito para ver gráficos de utilização de recursos.

Funções necessárias

Para receber as autorizações de que precisa para ver todos os dados nos gráficos de estado operacional e utilização de recursos, peça ao seu administrador para lhe conceder as seguintes funções do IAM na sua organização:

• Visualizador de recursos do BigQuery (roles/bigquery.resourceViewer)
• Leitor de metadados do BigQuery (roles/bigquery.metadataViewer)

Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Estas funções predefinidas contêm as autorizações necessárias para ver todos os dados nos gráficos de estado operacional e utilização de recursos. Para ver as autorizações exatas que são necessárias, expanda a secção Autorizações necessárias:

Autorizações necessárias

As seguintes autorizações são necessárias para ver todos os dados nos gráficos de estado operacional e utilização de recursos:

• Para ver todos os dados nos gráficos de estado operacional e utilização de recursos de uma organização:
  • bigquery.jobs.listExecutionMetadata or bigquery.jobs.listAll na organização
  • bigquery.reservationAssignments.list no projeto de administração usado para criar as reservas
  • bigquery.capacityCommitments.list no projeto de administração usado para criar as reservas
• Como utilizador a pedido, para ver todos os dados nos gráficos de utilização de recursos de uma organização: bigquery.jobs.listExecutionMetadata or bigquery.jobs.listAll na organização
• Para ver os dados de resumo do estado operacional do armazenamento de tabelas do BigQuery: bigquery.tables.get or bigquery.tables.list na organização
• Para ver gráficos de estado operacional e utilização de recursos ao nível da reserva:
  • bigquery.reservations.list no projeto de administração usado para criar as reservas
  • bigquery.reservationAssignments.list no projeto de administração usado para criar as reservas
• Para ver gráficos de utilização de recursos ao nível do projeto: bigquery.jobs.listAll no projeto

Também pode conseguir estas autorizações com funções personalizadas ou outras funções predefinidas.

Nota: a visualização de todos os dados nos gráficos de estado operacional e utilização de recursos só está disponível se tiver definido Google Cloud organizações.

Monitorize o estado operacional numa organização

O painel de controlo do estado operacional apresenta as principais métricas da sua organização e as respetivas reservas em todas as localizações onde tem reservas. Pode usar este painel de controlo para monitorizar as seguintes métricas:

• Utilização da slot
• Utilização da funcionalidade de reprodução aleatória
• Simultaneidade de tarefas
• Erros
• Duração da tarefa
• Bytes processados
• Armazenamento total

Nota: o painel de controlo do estado operacional não monitoriza as métricas para cargas de trabalho a pedido. Outros gráficos, como os gráficos de utilização de recursos, apresentam cargas de trabalho a pedido e baseadas na capacidade.

Veja gráficos do estado operacional

Para ver informações sobre o estado operacional da sua organização, siga estes passos:

1. Na Google Cloud consola, aceda à página Monitorização do BigQuery.

   Aceder a Monitorização

2. Selecione o projeto de administração que usou para comprar espaços e criar reservas.

3. Na página Monitorização, aceda ao separador Estado operacional para ver um resumo das métricas principais da sua organização para todas as localizações e reservas.

4. Opcional: para ver métricas em tempo real, em que as consultas são executadas em dados atualizados a cada cinco minutos, clique no botão Dados em direto. Por predefinição, esta definição está desativada e a antiguidade máxima dos dados é de cerca de uma hora.

5. Para filtrar as métricas, configure os seguintes campos:

   • Na lista Selecionar localização, selecione uma região para monitorizar.
   • Na lista Selecionar reserva, selecione a reserva.
   • Na lista Selecionar projeto, selecione o projeto.
   • Na lista Intervalo de tempo, selecione um intervalo de tempo.

6. Opcional: para ver mais detalhes sobre o estado operacional com um gráfico de utilização de recursos ou um explorador de tarefas, clique em Explorar mais.

O BigQuery recolhe as métricas consultando as seguintes visualizações INFORMATION_SCHEMA:

• INFORMATION_SCHEMA.JOBS
• INFORMATION_SCHEMA.JOBS_TIMELINE
• INFORMATION_SCHEMA.RESERVATIONS
• INFORMATION_SCHEMA.TABLE_STORAGE

Visualizações

O separador Estado operacional apresenta o seguinte resumo e vistas detalhadas.

Vista de resumo

A vista de resumo mostra o estado dos subsistemas da sua organização, incluindo reservas e regiões, nos últimos 30 minutos.

Para ver a vista de resumo, faça o seguinte:

• No separador Estado operacional, na lista Selecionar localização, selecione Todas as localizações.

Vista detalhada

A vista detalhada mostra gráficos de cronologia detalhados de diferentes métricas ao nível de uma localização ou de uma reserva.

Para ver a vista detalhada, faça o seguinte:

• No separador Estado operacional, na lista Selecionar localização, selecione a região ou a edição.

Pode refinar os dados apresentados na vista detalhada através dos seguintes filtros opcionais:

• Na lista Selecionar reserva, selecione o nome da reserva.
• Na lista Selecionar projeto, selecione o projeto.

Gráficos

O BigQuery oferece as seguintes opções de tabelas e gráficos, que lhe permitem explorar as métricas de estado operacional em detalhe.

Tabela de resumo

As tabelas de resumo apresentam as seguintes métricas:

• Utilização da slot. A utilização média de slots. A capacidade total de slots é igual à capacidade de base e à capacidade máxima com dimensionamento automático.
• Utilização da funcionalidade de reprodução aleatória. O máximo de todas as proporções médias de utilização da reprodução aleatória de reservas.
• Simultaneidade. O número máximo de tarefas em execução em simultâneo.
• Bytes processados. O total de bytes processados por trabalhos concluídos.
• Duração do trabalho. O tempo de execução médio das tarefas concluídas, calculado a partir do momento em que a tarefa foi criada até ao momento em que terminou.
• Armazenamento total. O total de bytes lógicos ativos na hora da última atualização.

Existem duas tabelas de resumo apresentadas na vista: Resumo da localização e Resumo da reserva. Cada linha da tabela representa a utilização de uma localização ou uma reserva.

As tabelas apresentam métricas relativas aos 30 minutos anteriores à última atualização. Se a opção Dados em direto estiver ativada, os dados consultados são atualizados a cada cinco minutos. Se os dados publicados estiverem desativados, a antiguidade máxima dos dados é de aproximadamente uma hora.

A célula da tabela tem um código de cores se a métrica for superior ao limite predefinido e se houver um número aumentado de estatísticas de desempenho para tarefas repetidas:

• Se o valor da métrica nos 30 minutos anteriores à última atualização for superior ao valor P99 da utilização da semana anterior para o mesmo dia, a célula da tabela é marcada com um fundo azul escuro.
• Se o valor da métrica durante os 30 minutos estiver entre o valor P95 e P99 da utilização da semana anterior para o mesmo dia, a célula da tabela é marcada com um fundo azul claro.

Todos os limites são predefinidos e não podem ser personalizados. Pode verificar um limite clicando em Informações Informações.

Nota: a coluna Armazenamento total não suporta anotações de cores.

Filtre dados

Pode filtrar dados em gráficos com base nos seguintes valores:

• Localização. Estão disponíveis as regiões onde a organização teve atividade nos últimos 30 dias. A vista de resumo apresenta uma tabela que resume a utilização em todas as regiões ativas.
• Reserva. Este campo só está disponível na vista detalhada. Todas as reservas pertencentes ao projeto de administração estão disponíveis. Só pode escolher uma reserva.
• Projeto. Este campo só está disponível na vista detalhada. Todos os projetos que têm tráfego na organização estão disponíveis. Só pode selecionar um projeto.
• Intervalo de tempo. Este campo só está disponível na vista detalhada. Afeta os gráficos da cronologia das métricas e o gráfico de anel de erros na vista detalhada. A escala de dados nos gráficos da cronologia de métricas é ajustada automaticamente de acordo com o intervalo de tempo selecionado.

Gráfico das principais consultas ativas

Este gráfico mostra os dez principais trabalhos com recursos ativos ordenados por ordem descendente. No menu pendente, pode selecionar uma opção de ordenação com base na utilização de horários ou na duração da tarefa. O ID da tarefa e o número de utilização de recursos relevantes são apresentados no gráfico de barras. Selecione Explorar mais ou o ID da tarefa no gráfico de consultas ativas principais para ver mais detalhes no explorador de tarefas. Para saber mais sobre os detalhes de execução e diagnosticar problemas de desempenho dos seus trabalhos do BigQuery, consulte o artigo Obtenha estatísticas de desempenho de consultas.

Gráfico de rosca de erros

Este gráfico mostra a proporção das principais causas de falha no período selecionado. Na vista de resumo, a predefinição é abranger os últimos 30 minutos. Na vista detalhada, o seletor do intervalo de tempo controla a respetiva cobertura. Pode agrupar os erros por tipo, projeto proprietário ou reserva. A quantidade de trabalhos com falhas é apresentada no gráfico circular.

Gráficos de linha cronológica de métricas

Os gráficos apresentam uma vista geral das métricas suportadas durante um máximo de 30 dias. O período predefinido é de uma hora. À medida que o período selecionado muda, a granularidade de cada ponto de dados no gráfico é dimensionada automaticamente.

Estes gráficos apresentam um valor agregado numa região ou numa reserva. A apresentação de dados para várias regiões ou várias reservas não é suportada.

Os gráficos da cronologia de métricas suportam as seguintes métricas:

• Utilização da slot. A utilização média de ranhuras no período selecionado. Apresenta a utilização geral de slots de todas as tarefas e tarefas com falhas separadamente.
• Simultaneidade de tarefas. O número máximo de tarefas executadas em simultâneo no período selecionado. Apresenta a contagem de tarefas em execução e tarefas pendentes separadamente, e é apresentado como um gráfico de barras empilhadas.
• Bytes analisados. O total de bytes processados por trabalhos concluídos no período selecionado.
• Aleatório. O máximo de todas as médias das taxas de utilização da aleatoriedade das reservas no período selecionado.
• Duração do trabalho. O tempo de execução médio das tarefas concluídas no período selecionado, calculado a partir da hora de criação da tarefa até à hora de conclusão da tarefa.
• Erro por tipo. O gráfico de anel de erros mostra a proporção das diferentes causas de falha no período selecionado.

Além das tendências das métricas, os gráficos apresentam linhas de referência dos valores das métricas P95 e P99 da utilização da semana anterior para o mesmo dia. O gráfico Execução concorrente de tarefas mostra o limite para a soma das tarefas pendentes e em execução. Esses valores referenciados são usados como os limites da codificação por cores na tabela de resumo.

Para saber mais sobre o gráfico, clique em Explorar mais. É feito o redirecionamento para o separador Utilização de recursos.

Tabela de estatísticas

Esta tabela agrega erros de quota, erros de acesso negado e estatísticas de desempenho recolhidas durante as execuções de tarefas no período selecionado. As estatísticas são agregadas ao nível da reserva. Cada linha fornece informações sobre o tipo de estatística, a localização, a reserva, o detalhe da estatística e os IDs de tarefas de exemplo. Clique nos IDs das tarefas para ver mais detalhes das tarefas no explorador de tarefas. Na vista de resumo, o período de observação predefinido abrange os últimos 30 minutos. Na vista detalhada, o seletor de intervalo de tempo controla o período específico para o qual são apresentados os dados de observação.

Monitorize o estado operacional de um único projeto

O painel de controlo do estado operacional do projeto é a vista predefinida se não tiver acesso a toda a organização ou se o seu projeto não tiver nenhuma reserva. Esta vista pode ajudar os analistas de projetos a monitorizar o estado do sistema dos respetivos projetos, tal como o painel de controlo do estado operacional ao nível da organização, mas mostra apenas dados ao nível do projeto nos respetivos gráficos e filtros.

Veja a utilização de recursos do BigQuery

Os gráficos de recursos do BigQuery ajudam a acompanhar a utilização de recursos anterior para planear as necessidades futuras e resolver problemas de desempenho.

Os gráficos recolhem métricas consultando as seguintes visualizações INFORMATION_SCHEMA:

• INFORMATION_SCHEMA.JOBS
• INFORMATION_SCHEMA.JOBS_TIMELINE
• INFORMATION_SCHEMA.RESERVATION_CHANGES

Os dados podem ser atualizados em tempo real, retrocedendo um máximo de 30 dias.

Quando vê a utilização de recursos, pode configurar o seguinte:

• O gráfico da cronologia de eventos mostra uma vista geral dos dados durante um máximo de 30 dias. A predefinição é de 6 horas.

• O gráfico principal mostra as métricas escolhidas, como a utilização de slots ou os bytes processados, ao longo do tempo para a sua organização ou projeto de administração. Uma legenda para o gráfico dá mais detalhes sobre os dados apresentados.

• O painel Configuração do gráfico permite-lhe selecionar vistas predefinidas das suas métricas ou personalizar as suas próprias métricas para as vistas.

O gráfico de utilização de recursos tem os seguintes elementos:

• No separador Utilização de recursos, mantenha o ponteiro sobre o chip de estado na parte superior do gráfico para apresentar mais informações sobre uma métrica.

• Os chips de estado também mostram o seguinte:

  • Se a métrica ainda estiver a ser carregada, é apresentado um ícone de carregamento.
  • Se a métrica usar dados desatualizados, é apresentado um ícone de relógio.
  • Se não for possível carregar a métrica devido a filtros ao nível da página não suportados, a métrica é rasurada.
  • Se a métrica não for carregada, o chip de estado é realçado.

Veja e configure gráficos de utilização de recursos

Para ver e configurar gráficos de utilização de recursos, siga estes passos:

1. Na Google Cloud consola, aceda à página Monitorização do BigQuery.

   Aceder a Monitorização

2. Selecione o projeto. Enquanto administrador que monitoriza a utilização de recursos de reserva, escolha o projeto de administração usado para comprar horários e criar reservas. Enquanto analista de dados que monitoriza a utilização de recursos de tarefas, escolha o projeto correspondente.

3. Na página Monitorização, aceda ao separador Utilização de recursos para ver um resumo da utilização de recursos, discriminado por localização.

4. Escolha um período para as métricas nesta vista, como 1 dia. Para ver métricas em tempo real, em que as consultas são executadas em dados atualizados, clique no botão Dados em direto. Esta definição está desativada por predefinição para melhorar o desempenho, e a antiguidade máxima dos dados é de cerca de uma hora.

5. No painel Configuração do gráfico, configure os seguintes campos:

   • No campo Vista de métricas, selecione uma das vistas.
   • No campo Métricas, selecione uma métrica para ver. Pode adicionar ou editar uma métrica.
   • No campo Agrupar por, selecione como agrupar os dados.
   • No campo Filtros, selecione como filtrar os dados.

6. Para guardar as alterações que fez à configuração do gráfico, clique em Aplicar.

Vista de métricas

O BigQuery oferece visualizações pré-configuradas de métricas de utilização de recursos. As secções seguintes descrevem as métricas que pode configurar nessas vistas.

Utilização de slots de reserva

Esta vista mostra-lhe métricas sobre a discriminação da utilização de espaços para as reservas no projeto administrativo. Cada métrica tem as seguintes predefinições, que pode editar no painel Configuração do gráfico clicando no nome da métrica:

• Os dados de utilização predefinidos são dos recursos de reserva.
• O âmbito predefinido é o projeto.
• A agregação predefinida é pela utilização média no período selecionado.

Nome da métrica	Descrição
Reserva – Utilização da slot	Monitoriza a utilização total de espaços publicitários durante o período selecionado.
Reserva – Utilização de slots inativos	Monitoriza a utilização de slots que excede a capacidade da reserva no período selecionado. Esta métrica permite-lhe monitorizar os espaços livres emprestados de outras reservas e compromissos, ou as imprecisões de arredondamento nos dados de utilização. Esta última pode fazer com que esta métrica seja um valor diferente de zero, mesmo que a partilha de espaços inativos esteja desativada. A utilização de slots inativas é um valor aproximado e é calculada com base na utilização de slots, nos slots comprometidos e nos slots com escala automática. Se o valor de utilização de slots exceder a capacidade de compromisso e os slots com escalabilidade automática, o gráfico agrupa os restantes como slots inativos.
Reserva – Vagas usadas de base	Monitoriza os slots usados a partir da base de referência de reserva.
Reserva – Horários usados com dimensionamento automático	Monitoriza os espaços usados a partir de espaços com dimensionamento automático de reserva.

Vista geral da utilização da edição

Esta vista mostra-lhe métricas sobre a utilização e a capacidade de recursos de edição no projeto administrativo. Cada métrica tem as seguintes definições predefinidas, que pode editar no painel Configuração do gráfico clicando no nome da métrica:

• Os dados de utilização predefinidos são do recurso de reserva e os dados de capacidade são do recurso de edição.
• O âmbito predefinido é o projeto.

Nome da métrica	Descrição
Reserva – Utilização da slot	Monitoriza a utilização de ranhuras para o período selecionado. A agregação predefinida é feita pela utilização de espaço publicitário no percentil 99 no período selecionado.
Reserva – Utilização de slots inativos	Monitoriza a utilização de slots que excede a capacidade da reserva no período selecionado. Esta métrica permite-lhe monitorizar os espaços livres emprestados de outras reservas e compromissos, ou as imprecisões de arredondamento nos dados de utilização. Este último pode fazer com que esta métrica tenha um valor diferente de zero, mesmo que a partilha de espaços inativos esteja desativada. A utilização de slots inativas é um valor aproximado e é calculada com base na utilização de slots, nos slots comprometidos e nos slots com escala automática. Se o valor de utilização de slots exceder a capacidade de compromisso e os slots com escalabilidade automática, o gráfico agrupa os restantes como slots inativos. A agregação predefinida é pela utilização de recursos do percentil 99 no período selecionado.
Edition – Capacidade base	Monitoriza o tamanho de base das reservas neste projeto de administração.
Edição – Capacidade máxima	Monitoriza o número máximo de horários disponíveis no período selecionado. A métrica é a soma da capacidade de compromisso, da capacidade de base e da capacidade com escalamento automático. A agregação predefinida é pela utilização máxima de recursos no período selecionado.
Edição – Capacidade atribuída	Monitoriza o número real de espaços atribuídos aos recursos da sua edição no período selecionado. A agregação predefinida é pela utilização máxima de recursos no período selecionado.

Vista geral do projeto atual

Esta vista mostra-lhe métricas sobre os recursos de tarefas no projeto onde executa consultas. Cada métrica tem as seguintes predefinições, que pode editar no painel Configuração do gráfico clicando no nome da métrica:

• O recurso predefinido é o recurso de tarefa.
• O âmbito predefinido é o projeto.

Nome da métrica	Descrição
Job - Project - Slot usage	Monitoriza a utilização de ranhuras para o período selecionado. A agregação predefinida é feita pela utilização máxima de recursos no período selecionado.
Tarefa – Projeto – Bytes processados	Monitoriza o total de bytes processados por tarefas concluídas no período selecionado. A agregação predefinida é pela soma dos bytes processados no período selecionado.
Trabalho – Projeto – Simultaneidade de trabalhos	Monitoriza o número de tarefas executadas em simultâneo no período de tempo selecionado. A agregação predefinida é pela utilização máxima de recursos no período selecionado.
Trabalho – Projeto – Duração do trabalho	Monitoriza o tempo de execução dos trabalhos concluídos no período selecionado. O tempo de execução mede o tempo entre a criação e a conclusão da tarefa. A agregação predefinida é pela duração média no período selecionado.

Vista geral das reservas próprias

Esta vista mostra métricas sobre a atividade de tarefas com recursos de reserva no projeto administrativo. Cada métrica tem as seguintes predefinições, que pode editar no painel Configuração do gráfico clicando no nome da métrica:

• O recurso predefinido é o recurso de reserva.
• O âmbito predefinido é o projeto.

Nome da métrica	Descrição
Reserva – Utilização da slot	Monitoriza a utilização de ranhuras para o período selecionado. A agregação predefinida é feita pela utilização máxima de recursos no período selecionado.
Reserva: bytes processados	Monitoriza o total de bytes processados por tarefas concluídas no período selecionado. A agregação predefinida é pela soma dos bytes processados no período selecionado.
Reserva – Simultaneidade de tarefas	Monitoriza o número de tarefas executadas em simultâneo no período de tempo selecionado. A agregação predefinida é pela utilização máxima de recursos no período selecionado.
Reserva – Duração da tarefa	Monitoriza o tempo de execução de trabalhos concluídos no período selecionado. O tempo de execução mede o tempo entre a criação e a conclusão do trabalho. Inclui o processamento em fila e as novas tentativas. A agregação predefinida é pela duração de execução média no período selecionado.
Reserva – Utilização da funcionalidade de ordenação aleatória	Monitoriza a taxa de utilização da reprodução aleatória no período selecionado. A agregação predefinida é pela média de utilização no período selecionado.

Nota: o BigQuery pode atribuir slots adicionais para executar uma tarefa, o que resulta num valor de utilização de slots que excede o valor máximo total da capacidade e num valor diferente de zero para a utilização de slots emprestados em reservas que ignoram slots inativos. Nestes casos, não são cobrados custos adicionais pela utilização acima da capacidade máxima.

Vista personalizada

Para criar uma vista de métricas personalizada, pode adicionar métricas de raiz ou começar com uma das vistas de métricas predefinidas (por exemplo, a vista de métricas Vista geral de reservas) e personalizar as métricas na mesma.

Pode guardar vistas personalizadas para utilização futura. As vistas guardadas retêm as configurações de métricas, agrupamentos e filtros, com exceção do filtro de email do utilizador. As vistas guardadas são armazenadas ao nível do utilizador. Pode criar, atualizar, mudar o nome e eliminar as vistas guardadas.

Métrica

Quando configura um gráfico, pode adicionar, editar ou eliminar as métricas de utilização de recursos que monitoriza.

Para configurar as métricas do gráfico de utilização de recursos, siga estes passos:

1. Na Google Cloud consola, veja os gráficos de utilização de recursos do BigQuery.

2. No painel Configuração do gráfico, configure o campo Métricas:

   1. Clique em Adicione um item > Selecione uma métrica.

   2. Na caixa de diálogo Selecione uma métrica, escolha o seguinte:

      1. O tipo de recurso a monitorizar: Job, Reservation ou Edition.
      2. O âmbito a monitorizar. Por exemplo, para monitorizar as métricas de tarefas no projeto atual, selecione o âmbito Projeto.
      3. Escolha uma métrica para monitorizar. Por exemplo, para monitorizar a utilização de espaços de tarefas, escolha Utilização de espaços.

   3. Clique em Aplicar.

   4. Na caixa de diálogo Novo item, escolha a agregação. Por exemplo, para monitorizar a utilização máxima de vagas acima da capacidade da reserva no período selecionado, escolha Máx..

   5. Clique em Concluído para guardar a métrica.

3. Opcional: para alterar uma métrica existente, clique no nome da métrica e edite as respetivas definições ou elimine-a.

Tipos de recursos e âmbitos suportados para métricas

As métricas de utilização de recursos são categorizadas por tipo de recurso e âmbito.

Tipos de recursos

Pode monitorizar os seguintes tipos de recursos:

Recurso	Descrição
Emprego	Métricas sobre os detalhes da tarefa do BigQuery para um determinado âmbito e período.
Reserva	As métricas sobre a utilização da reserva do BigQuery para um determinado âmbito e período. Estas métricas agregam os detalhes dos trabalhos por reserva. Se tiver apenas acesso parcial aos dados ao nível da reserva, estão disponíveis métricas de utilização de reservas agregadas, sem acesso aos detalhes ao nível da tarefa.
Edição	Métricas sobre a capacidade da edição do BigQuery para um determinado âmbito e período.

Tipos de âmbito

Depois de selecionar um recurso para uma métrica, seleciona um âmbito.

• Os recursos de reserva e edição são predefinidos para um âmbito ao nível do projeto.
• O recurso de tarefa pode ser definido para âmbitos ao nível do projeto, da pasta ou da organização. Os âmbitos mais amplos requerem autorizações adicionais.

Agrupar por

Para agrupar dados no gráfico de utilização de recursos, siga estes passos:

1. Na Google Cloud consola, veja os gráficos de utilização de recursos do BigQuery.

2. No painel Configuração do gráfico, configure o campo Agrupar por selecionando uma das seguintes opções:

   • Nenhuma: esta opção oferece uma vista geral das métricas escolhidas ao longo do tempo em toda a organização.
   • Projeto: esta opção agrupa as métricas escolhidas por projeto. Se estiverem disponíveis mais de 50 projetos, são apresentados apenas os 50 principais projetos com a utilização de slots mais elevada.
   • Todas as outras opções de agrupamento: estas opções são semelhantes à vista de projeto, com os dados agrupados pela dimensão respetiva. Se uma opção de agrupamento não for suportada para todas as métricas escolhidas, não é possível selecionar a opção.

Filtro

Quando configura o gráfico de utilização de recursos, pode aplicar filtros aos dados, como apresentar a utilização de recursos para recursos da Enterprise Edition ou por um ID de recurso.

Para filtrar os dados do gráfico, aplique filtros no painel de filtros. Só pode selecionar um filtro se for suportado para as métricas que selecionou. Para ver as autorizações necessárias, clique no menu Filtrar.

Veja dados de utilização de recursos ao nível do projeto

Pode analisar a utilização de recursos ao nível do projeto através dos mesmos passos de configuração que usaria para ver dados ao nível da organização. Os gráficos apenas apresentam dados ao nível do projeto e opções de configuração (as opções ao nível da organização estão esbatidas). Este âmbito ao nível do projeto mostra a utilização geral de recursos, independentemente do modo de faturação no projeto contextual.

Limitações do gráfico de utilização de recursos

• O gráfico e a tabela no centro da página apresentam métricas relevantes para o período e a granularidade selecionados.
• As métricas com a mesma unidade partilham a mesma escala. O gráfico suporta até duas escalas diferentes.

Mude para a IU antiga

Por predefinição, tem acesso aos gráficos de recursos da edição quando navega a partir do projeto de administração de reservas. Pode alternar entre os gráficos de recursos a pedido e os gráficos de recursos da edição a partir do projeto de administração de reservas (Pré-visualização).

Para ver gráficos de recursos, siga estes passos:

1. Aceda à página do BigQuery.
   Aceda ao BigQuery
2. No menu do projeto, selecione o projeto de administração que usou para comprar espaços e criar reservas.
3. No menu de navegação, clique em Monitorização.
4. Na secção Opções do gráfico > Âmbito, pode selecionar o modelo de faturação na lista, que inclui três tipos de edições e a pedido. Por predefinição, o modelo de faturação está definido como a edição Enterprise.
5. Na secção Opções do gráfico > Configurações do gráfico, faça o seguinte:
   1. Na lista Gráfico, selecione o tipo de gráfico. Para obter informações sobre as diferentes opções de gráficos, consulte Opções de gráficos.
   2. Na lista Métricas, selecione o tipo de métricas disponível.
   3. Na lista Agrupar por, selecione a dimensão pela qual quer agrupar os dados no gráfico. Para obter informações sobre as diferentes dimensões, consulte Opções de agrupamento.
   4. Na lista Filtros, selecione as opções de filtro disponíveis. Para informações sobre diferentes filtros, consulte o artigo Filtros e pesquisa.
   5. Defina o intervalo de tempo para o qual quer ver os dados no gráfico.

Configurações do gráfico

Pode ajustar a vista dos gráficos de recursos alterando as seguintes opções de configuração dos gráficos.

Opções do gráfico

O BigQuery oferece os seguintes tipos de métricas para apresentação nos gráficos:

• Utilização da slot. Utilização média da slot. Se a opção Agrupar por estiver definida como Geral ou se os Filtros forem Nenhum ou uma única reserva, também são apresentadas as métricas de capacidade e utilização de horários emprestados.
  • Utilização total. Utilização média de ranhuras no período selecionado.
  • Utilização de slots emprestadas. Utilização média superior à capacidade da reserva. Normalmente, trata-se de ranhuras inativas emprestadas de outras reservas e compromissos, ou de imprecisão de arredondamento nos dados de utilização. São apresentadas vagas disponíveis adicionais no gráfico de utilização de recursos, mesmo que a partilha de vagas disponíveis esteja desativada. A utilização de slots inativos é um valor aproximado e é calculada com base na utilização de slots, nos slots comprometidos e nos slots com escala automática. Se o valor de utilização de espaços exceder a capacidade de compromisso, o gráfico agrupa-os como espaços inativos.
  • Capacidade de compromisso. O tamanho do compromisso da edição.
  • Capacidade de base. O tamanho base da reserva.
  • Ajustar automaticamente a capacidade. O tamanho do horário disponível com ajuste automático.
  • Capacidade máxima. O número máximo de espaços aos quais o utilizador pode aceder.

Nota: por vezes, o BigQuery atribui slots adicionais para executar uma tarefa, o que resulta num valor de Utilização total que excede o valor de Capacidade máxima e um valor diferente de zero para Utilização de slots emprestados em reservas que ignoram slots inativos. Nestes casos, não são faturadas cobranças adicionais pela utilização acima da capacidade máxima da reserva.

• Simultaneidade de tarefas. Número máximo de tarefas executadas em simultâneo no período selecionado.
• Desempenho no trabalho. Tempo de execução médio das tarefas concluídas, calculado a partir da hora de criação da tarefa até à hora de fim da tarefa.
• Tarefas com falha. Utilização média de slots no período selecionado a partir de tarefas que falharam.
• Bytes processados. Total de bytes processados por trabalhos concluídos no período de tempo selecionado.
• Utilização da funcionalidade de reprodução aleatória. Rácio médio de utilização da funcionalidade de reprodução aleatória no período selecionado (pré-visualização).

Componente de tabela

A tabela apresenta métricas relevantes para o período e a dimensão que selecionou no gráfico de recursos.

O gráfico Utilização de espaços apresenta a Utilização média de espaços para todas as tarefas em execução durante o período selecionado. Os trabalhos que não foram concluídos no período selecionado incluem apenas as vagas usadas no período.

Para o gráfico Desempenho do trabalho, o componente de tabela apresenta as seguintes métricas:

• Número de trabalhos. O número de tarefas concluídas ou parcialmente executadas no período selecionado.
• Duração média da tarefa. A duração média das tarefas concluídas que foram executadas, pelo menos, parcialmente no período selecionado.
• Duração mediana da tarefa. A duração mediana das tarefas concluídas que foram executadas, pelo menos, parcialmente no período selecionado.
• Duração mínima da tarefa. A duração mínima da tarefa para tarefas concluídas que foram executadas, pelo menos, parcialmente no período selecionado. Esta coluna está oculta por predefinição, mas pode ativá-la nas Opções de apresentação de colunas.
• Duração máxima da tarefa. A duração máxima da tarefa para tarefas concluídas que foram executadas, pelo menos, parcialmente no período selecionado. Esta coluna está oculta por predefinição, mas pode ativá-la nas Opções de apresentação de colunas.

Para o gráfico Tarefas com falhas, o componente de tabela apresenta os seguintes dados:

• Utilização média de slots. Igual ao gráfico Utilização de espaços, mas apenas para tarefas com falhas.
• Total de tarefas com falhas. O número de tarefas com falhas no período selecionado.

Nota: além dos gráficos de recursos, pode escrever as suas próprias consultas ou painéis de controlo. Para ver exemplos de consultas e modelos do Looker Studio, consulte as visualizações INFORMATION_SCHEMA.

Opções de agrupamento

Com base no tipo de gráfico, pode agrupar os dados na vista de gráfico por várias dimensões:

• Geral. A vista geral é uma vista de alto nível da métrica selecionada ao longo do tempo em toda a organização. Para a utilização de espaços, a capacidade e a utilização são apresentadas no mesmo gráfico para dar uma ideia da utilização geral de espaços ao longo do tempo.
• Projeto. A vista de projeto mostra a métrica selecionada agrupada por projeto. Se uma organização tiver mais de 10 projetos, são apresentados apenas os 10 principais projetos com a utilização de slots, a concorrência de tarefas, a duração das tarefas ou as tarefas com falhas mais elevadas no período selecionado. Para a utilização de ranhuras, todos os outros projetos são agrupados na categoria Outros na parte inferior do gráfico para facilitar a comparação com a capacidade geral.
• Todas as outras visualizações de agrupamento são semelhantes à visualização de projetos, com os dados agrupados pela dimensão respetiva.

Opção de período

Pode modificar o período das seguintes formas:

• Selecione e arraste o período para o gráfico da cronologia de eventos.
• Selecione e arraste o período para o gráfico principal.

O período de alinhamento é atualizado automaticamente à medida que o intervalo de tempo selecionado muda. Quanto menor for o período de alinhamento, mais detalhada é a vista. Para ver melhor os recursos que mudam com frequência, por exemplo, a opção Utilização de ranhuras, reduza o período de alinhamento.

Nota: para períodos de alinhamento mais detalhados no gráfico de utilização de ranhuras, a utilização apresentada pode exceder brevemente a capacidade devido à amostragem de dados e ao alinhamento.

Filtre e pesquise

Para restringir os dados do gráfico, aplique filtros no painel de filtros. Alguns filtros só estão disponíveis para determinados gráficos. Os filtros Reservas, Pastas, Projetos e Utilizadores são preenchidos com os recursos respetivos que consumiram vagas no período selecionado. Por exemplo, se um projeto não tiver sido usado nos últimos 30 dias, não aparece na lista de filtros de projetos.

O gráfico é atualizado depois de aplicar filtros para mostrar dados dentro dos parâmetros selecionados.

Nota: para filtrar por tarefas específicas, introduza o ID da tarefa no campo de texto sem o prefixo do projeto.

Resolva problemas de contenção de espaços

A contenção de espaços pode ocorrer quando não existem espaços suficientes para executar todas as suas tarefas, o que causa problemas de desempenho. Para resolver problemas de contenção de horários, consulte os seguintes passos e práticas recomendadas.

Se experimentou estas práticas recomendadas, mas continua a ter problemas de desempenho do trabalho, pode pedir apoio técnico.

Picos de simultaneidade de tarefas

Use a vista detalhada para verificar se existe um aumento repentino nas execuções de tarefas quando existem picos de utilização de slots simultâneos. Isto pode indicar que existem demasiadas tarefas a competir por espaços limitados pelo limite de reserva.

• Prática recomendada: considere otimizar as consultas que consomem muitos recursos ou a capacidade de horários da sua reserva. Para mais informações sobre a otimização do desempenho das consultas, consulte o artigo Otimize o cálculo das consultas.

Utilização elevada de slots

Use a vista detalhada para verificar se existem durações de tarefas aumentadas, especialmente se existirem tarefas que excedam a capacidade máxima da sua reserva. Uma utilização de espaço consistentemente elevada pode indicar uma contenção de espaço contínua.

• Prática recomendada: verifique as consultas através do filtro de contenção de espaços do explorador de tarefas para identificar as que consomem mais espaços e otimizá-las.

Durações de tarefas longas

Se as tarefas demorarem significativamente mais tempo a serem concluídas, consulte a vista detalhada. Os picos de concorrência de tarefas e utilização de espaços elevados podem indicar contenção de espaços.

• Prática recomendada: isole tarefas críticas pausando temporariamente tarefas menos importantes ou reduzindo a taxa de envio geral de tarefas.

Mensagens de contenção de slots

A tabela de estatísticas pode apresentar mensagens como There were NUMBER jobs detected with slot_contention in the reservation. que indicam problemas de contenção de espaços. Consulte o explorador de tarefas para rever os detalhes acerca das tarefas específicas sinalizadas nestas mensagens.

• Prática recomendada: otimize as consultas identificadas ou ajuste a atribuição de espaço da reserva.

O que se segue?

• Saiba mais acerca das reservas.
• Saiba mais sobre a compra de horários disponíveis.
• Saiba como estimar os requisitos de capacidade de horários.
• Saiba como ver recomendações de slots e estatísticas.