Estimar os requisitos de capacidade de slot

Ao comprar slots reservados no BigQuery, é preciso estimar o número correto de slots para a carga de trabalho específica. O estimador de slot do BigQuery ajuda a gerenciar a capacidade do slot com base em métricas de desempenho histórico.

Use o estimador de slot para suas cargas de trabalho de edição, reserva e sob demanda para realizar as seguintes tarefas:

Para as cargas de trabalho de edição selecionadas:

  • Ver os dados de capacidade e utilização de slots dos últimos 30 dias e identificar os períodos de pico de utilização quando a maioria dos slots for usada.
  • Ver recomendações de custo-benefício para slots de compromisso e escalonamento automático com desempenho semelhante.
  • Ver suas configurações de reserva atuais para uma edição específica.

Para cargas de trabalho de reserva específicas:

  • Ver os dados de capacidade e utilização de slots dos últimos 30 dias e identificar os períodos de pico de utilização quando a maioria dos slots for usada.
  • Visualizar os percentis de latência do job (P90, P95 etc.) para entender o desempenho da consulta.
  • Simule como o aumento ou a redução do número máximo de slots de reserva podem afetar o desempenho.

Para cargas de trabalho de faturamento sob demanda:

  • Acesse os dados de uso de slots sob demanda de toda a organização ou de um projeto individual nos últimos 30 dias.
  • Se você migrar para a edição Enterprise, verá recomendações econômicas para slots de compromisso e escalonamento automático com desempenho semelhante.

Os clientes que usam a edição Enterprise, Enterprise Plus ou o faturamento sob demanda podem usar o recomendador de slots do BigQuery para conferir o uso de slots, otimizar compromissos e melhorar o desempenho. Para mais informações, consulte Visualizar recomendações de slot da edição.

Limitações

  • Os dados são limitados aos últimos 30 dias.
  • Os modelos não incluem atribuições ML_EXTERNAL. Se uma grande porcentagem dos slots for usada para atribuições ML_EXTERNAL, os resultados modelados serão menos precisos.

Antes de começar

Atribua papéis do Identity and Access Management (IAM) que concedam aos usuários as permissões necessárias para realizar cada tarefa deste documento.

Permissões necessárias

Para usar o estimador de slot para dados de reservas, você precisa das seguintes permissões do IAM no projeto de administração:

  • bigquery.reservations.list
  • bigquery.reservationAssignments.list
  • bigquery.capacityCommitments.list

Cada um dos seguintes papéis predefinidos do IAM inclui as permissões necessárias para usar o estimador de slot:

  • roles/bigquery.admin
  • roles/bigquery.resourceAdmin
  • roles/bigquery.resourceEditor
  • roles/bigquery.resourceViewer
  • roles/bigquery.user

Para usar o estimador de slot para dados de uso sob demanda, é necessário ativar a API Reservations para um projeto que você pretende usar como projeto de administração para gerenciar reservas. Além das permissões acima, você também precisa de uma das permissões do IAM a seguir na organização para consultar dados no nível da organização ou no projeto para consultar dados no nível do projeto:

  • bigquery.jobs.listExecutionMetadata (só pode ser aplicado no nível da organização)
  • bigquery.jobs.listAll (pode ser aplicado no nível da organização ou do projeto)

Cada um dos seguintes papéis predefinidos do IAM inclui as permissões necessárias para usar o estimador de slot:

  • roles/bigquery.admin
  • roles/bigquery.resourceAdmin
  • roles/bigquery.resourceEditor
  • roles/bigquery.resourceViewer

Para visualizar as recomendações de slots de compromisso, você também precisa das permissões descritas em Ver recomendações de slots de edição.

Para mais informações sobre os papéis do IAM no BigQuery, consulte Papéis e permissões predefinidos.

Ver a capacidade e a utilização do slot

Para visualizar a capacidade e a utilização de slots ao longo do tempo, navegue até o estimador de slot:

  1. No Console do Cloud, abra a página do BigQuery.

    Ir para o BigQuery

  2. Selecione seu projeto de administração.

    1. Clique na lista suspensa Selecionar de na parte superior da página.
    2. Em selecionar na janela, selecione seu projeto.

  3. No painel de navegação, acesse a seção Gerenciamento de capacidade.

  4. Clique na guia Estimador de slot.

O gráfico de utilização mostra a capacidade e a utilização dos slots nos últimos 30 dias, calculadas com granularidade por hora.

A guia Uso e utilização por porcentagem mostra a utilização de slots como uma porcentagem do uso de slots pelo máximo de slots.

Porcentagem de utilização.

A guia Uso e utilização por capacidade mostra o máximo de slots e o uso como valores absolutos.

Uso e capacidade

Escolha uma opção de edição ou sob demanda no menu suspenso Origem para ver estatísticas de diferentes escopos. Ao selecionar uma edição, você preenche a lista suspensa Reserva com as reservas relevantes.

Para opções sob demanda, você poderá escolher um projeto individual ou toda a organização na lista suspensa Recomendações para se tiver permissões no nível da organização. A página do Estimador de slot só mostra informações no nível do projeto se você tiver apenas permissões no nível do projeto.

Opções sob demanda do estimador de slots

As estatísticas da guia Uso e utilização por capacidade podem variar um pouco com base em diferentes escopos:

  • Para a origem da edição, ela mostra o máximo de slots disponíveis para toda a edição, os slots de compromisso, a soma dos slots de valor de referência, o uso médio dos slots, o uso dos slots P99 e o uso dos slots P50.
  • Para uma reserva específica, ele mostra slots de reserva máxima, slots de valor de referência, uso médio de slots, uso de slots P99 e uso de slots P50.
  • Para fontes sob demanda, ela mostra o uso médio de slots, o uso de slots P99 e o uso de slots P50.

Desempenho do slot do modelo

Quando uma reserva é selecionada, é possível usar o estimador de slot para visualizar os dados de desempenho do job e modelar o efeito da alteração do número máximo de slots. O estimador de slots permite modelar como o desempenho pode mudar em diferentes níveis de capacidade, variando de 80% do valor mínimo do tamanho máximo de slots no período de observação até 150% dos slots máximos atuais. Em outras palavras, a redução das opções não pode exceder 20% da capacidade mínima do prazo de 30 dias, enquanto o aumento nas opções não pode exceder 50% da capacidade atual.

Os modelos pressupõem uma repetição do padrão de uso dos 30 dias anteriores, em que tudo permanece igual, exceto por uma alteração dos slots.

A melhoria de desempenho estimada é baseada em vários fatores. Os fatores mais importantes são o número de slots no modelo e a proporção de jobs em cada bucket de percentil que foi executado durante os períodos de pico em comparação com períodos regulares. Os períodos de pico são definidos como durações em que quase todos os slots foram usados. Os jobs em execução durante esses períodos são mais afetados pela contenção de slots e, portanto, veem o maior ganho de desempenho de slots adicionais. Como resultado, buckets diferentes de jobs podem ver diferentes efeitos do mesmo aumento de capacidade, dependendo de quando são executados.

Para modelar o desempenho do slot, execute as seguintes etapas:

  1. No Console do Cloud, abra a página do BigQuery.

    Ir para o BigQuery

  2. Selecione seu projeto de administração.

    1. Clique na lista suspensa Selecionar de na parte superior da página.
    2. Em selecionar na janela, selecione seu projeto.

  3. No painel de navegação, acesse a seção Gerenciamento de capacidade.

  4. Clique na guia Estimador de slot.

  5. No menu suspenso Reserva, selecione uma reserva específica. O modelo inclui o número de slots inativos que a reserva conseguiu emprestar a qualquer momento.

  6. No menu suspenso Modelar com slots adicionais no máximo de slots, selecione um ou mais valores de slots para modelar e clique em OK.

A tabela em Alterações do desempenho do job com slots adicionais mostra os dados de desempenho do job dos últimos 30 dias, além da alteração estimada do desempenho do aumento ou da diminuição de slots. Os dados de todos os jobs executados no período selecionado são agrupados em percentis por duração do job. A coluna indicada pelo ícone de lâmpada corresponde à recomendação de melhoria de desempenho para a reserva selecionada.

Modelagem de slots

Os dados de desempenho são divididos por percentil. A tabela divide os dados em, no máximo, 12 intervalos: P10 a P90, mais P95, P99 e P100. O intervalo P100 representa o 1% dos jobs que levaram mais tempo para serem executados; P99 inclui os primeiros 96% a 99%; P95 inclui os 91% a 95% mais altos. P90 inclui 81% a 90%; e assim por diante. Dependendo dos dados, a tabela pode agrupá-los em menos buckets. Nesse caso, a tabela contém menos linhas.

Para cada intervalo de percentil, a tabela mostra as seguintes informações:

  • Percentil de duração do job: o bucket de percentil para essa linha.
  • Duração média do job: o tempo médio que os jobs nesse bucket de percentil levaram para ser executados.
  • Número de jobs: o número de jobs nesse bucket de percentil.
  • Para cada modelo, a duração média estimada para os jobs nesse percentil.

A tabela também lista uma estatística estimada para "mudança de 30 dias" para cada modelo. Esse valor é a alteração estimada do total de horas gastas para processamento dos jobs no histórico de 30 dias em diferentes capacidades de slot.

Entender os resultados da modelagem com o uso de slots

Para reservas de capacidade fixa, se o compartilhamento de slot inativo estiver ativado, os jobs nessa reserva poderão usar slots de outras reservas. Como resultado, a utilização pode exceder 100% dos slots alocados. Se uma reserva usa consistentemente slots ociosos de outras reservas, isso pode ser um sinal para aumentar o tamanho da reserva. Por outro lado, se uma reserva raramente usa a capacidade total, ela pode ser muito grande.

As reservas que usam escalonamento automático usam e adicionam slots com a seguinte prioridade:

  1. Slots de referência:
  2. Compartilhamento de slots inativos (se ativado).
  3. Slots de escalonamento automático:

Se uma reserva de escalonamento automático maximizar os slots de escalonamento automático de maneira consistente, isso pode ser um sinal para aumentar o máximo de slots de reserva. Para mais informações sobre como visualizar o uso de slots, consulte Ver gráficos de recursos administrativos.

Preços

É possível usar o estimador de slots sem custos financeiros.