Estime os requisitos de capacidade de slots

Quando compra slots reservados no BigQuery, tem de estimar o número certo de slots para a sua carga de trabalho específica. O estimador de slots do BigQuery ajuda a gerir a capacidade dos slots com base nas métricas do histórico de desempenho.

Pode usar o estimador de slots para as suas edições, reservas e cargas de trabalho a pedido para realizar as seguintes tarefas:

Para as cargas de trabalho da edição selecionada:

  • Veja os dados de capacidade e utilização de slots dos últimos 30 dias e identifique os períodos de pico de utilização em que são usados mais slots.
  • Veja recomendações com custos ideais para compromissos e espaços de ajuste automático com um desempenho semelhante.
  • Veja as definições de reserva atuais de uma edição específica.

Para cargas de trabalho de reserva específicas:

  • Veja os dados de capacidade e utilização de slots dos últimos 30 dias e identifique os períodos de pico de utilização em que são usados mais slots.
  • Veja os percentis de latência das tarefas (P90, P95, etc.) para compreender o desempenho das consultas.
  • Modele como o aumento ou a redução do número máximo de vagas de reserva pode afetar o desempenho.

Para cargas de trabalho de faturação a pedido:

  • Veja os dados de utilização de espaços a pedido de toda a organização ou de um projeto individual nos últimos 30 dias.
  • Veja recomendações com custos otimizados para compromissos e espaços de ajuste automático com um desempenho semelhante se mudar para a edição Enterprise.

Os clientes que usam a edição Enterprise, a edição Enterprise Plus ou a faturação a pedido podem usar o recomendador de slots do BigQuery para ver a utilização de slots, otimizar os compromissos e melhorar o desempenho. Para mais informações, consulte o artigo Veja recomendações de ranhuras de edições.

Limitações

  • Os dados estão limitados aos últimos 30 dias.
  • Os modelos não incluem trabalhos do tipo ML_EXTERNAL. Se uma grande percentagem das suas posições for usada para atribuições de ML_EXTERNAL, os resultados modelados são menos precisos.

Antes de começar

Conceda funções de gestão de identidade e acesso (IAM) que dão aos utilizadores as autorizações necessárias para realizar cada tarefa neste documento.

Autorizações necessárias

Para usar o estimador de disponibilidade para dados de reservas, precisa das seguintes autorizações da IAM no projeto de administração:

  • bigquery.reservations.list
  • bigquery.reservationAssignments.list
  • bigquery.capacityCommitments.list

Cada uma das seguintes funções de IAM predefinidas inclui as autorizações de que precisa para usar o estimador de posições:

  • roles/bigquery.admin
  • roles/bigquery.resourceAdmin
  • roles/bigquery.resourceEditor
  • roles/bigquery.resourceViewer
  • roles/bigquery.user

Para usar o estimador de espaços para dados de utilização a pedido, tem de ativar a API Reservations num projeto que pretenda usar como projeto de administração para gerir reservas. Além das autorizações acima, também precisa de uma das seguintes autorizações de IAM na sua organização para ver dados ao nível da organização ou no projeto para ver dados ao nível do projeto:

  • bigquery.jobs.listExecutionMetadata (só pode ser aplicado ao nível da organização)
  • bigquery.jobs.listAll (pode ser aplicado ao nível da organização ou do projeto)

Cada uma das seguintes funções de IAM predefinidas inclui as autorizações de que precisa para usar o estimador de posições:

  • roles/bigquery.admin
  • roles/bigquery.resourceAdmin
  • roles/bigquery.resourceEditor
  • roles/bigquery.resourceViewer

Para ver as recomendações de espaços de compromisso, também precisa das autorizações descritas em Ver recomendações de espaços de edição.

Para mais informações sobre as funções de IAM no BigQuery, consulte o artigo Funções e autorizações predefinidas.

Veja a capacidade e a utilização de ranhuras

Para ver a capacidade e a utilização de slots ao longo do tempo, navegue para o estimador de slots:

  1. Na Google Cloud consola, abra a página do BigQuery.

    Aceda ao BigQuery

  2. Selecione o seu projeto de administração.

    1. Clique na lista pendente Selecionar a partir de na parte superior da página.
    2. Na janela de seleção apresentada, selecione o seu projeto.

  3. No menu de navegação, clique em Gestão da capacidade.

  4. Clique no separador Estimador de espaços.

O gráfico de utilização mostra a capacidade e a utilização de espaços ao longo dos últimos 30 dias, calculadas com granularidade horária.

O separador Utilização por percentagem mostra a utilização de espaços como uma percentagem da utilização de espaços por espaços máximos.

Percentagem de utilização

O separador Utilização e utilização por capacidade mostra o número máximo de vagas e a utilização como valores absolutos.

Utilização e capacidade

Pode escolher uma edição ou uma opção a pedido no menu pendente Fonte para ver estatísticas de diferentes âmbitos. Se selecionar uma edição, a lista pendente Reserva é preenchida com as reservas relevantes.

Para opções a pedido, pode escolher um projeto individual ou toda a organização no menu pendente Recomendações para se tiver autorizações ao nível da organização. A página Estimador de posições só mostra as informações ao nível do projeto se tiver apenas autorizações ao nível do projeto.

Opções a pedido do estimador de slots

As estatísticas do separador Utilização e utilização por capacidade podem variar ligeiramente com base no âmbito diferente:

  • Para a origem da edição, mostra o número máximo de espaços disponíveis para toda a edição, espaços de compromisso, soma dos espaços de base, utilização média de espaços, utilização de espaços P99 e utilização de espaços P50.
  • Para uma reserva específica, mostra o número máximo de slots de reserva, os slots de base, a utilização média de slots, a utilização de slots no percentil 99 e a utilização de slots no percentil 50.
  • Para a origem a pedido, mostra a utilização média de espaços, a utilização de espaços no percentil 99 e a utilização de espaços no percentil 50.

Desempenho do espaço do modelo

Quando uma reserva é selecionada, pode usar o estimador de posições para ver os dados de desempenho das tarefas e modelar o efeito da alteração do número de posições máximas. O estimador de espaços permite-lhe modelar como o desempenho pode mudar a diferentes níveis de capacidade, que variam entre 80% do valor mínimo do tamanho máximo de espaços no período de observação e 150% dos espaços máximos atuais. Por outras palavras, a diminuição das opções não pode exceder 20% da capacidade mínima do período de 30 dias, enquanto o aumento das opções não pode exceder 50% da capacidade atual.

Os modelos partem do princípio de uma repetição do padrão de utilização dos 30 dias anteriores, em que tudo permanece igual, exceto uma alteração nos espaços.

A melhoria do desempenho estimada baseia-se em vários fatores. Os fatores mais importantes são o número de espaços no modelo e a proporção de tarefas em cada segmento de percentis que foram executadas durante os períodos de pico em comparação com os períodos normais. Os períodos de pico são definidos como durações em que quase todos os espaços foram usados. As tarefas executadas durante estes horários são as mais afetadas pela contenção de espaços e, por isso, registam o maior aumento de desempenho com espaços adicionais. Como resultado, os diferentes conjuntos de tarefas podem ver efeitos diferentes do mesmo aumento de capacidade, consoante o momento em que são executados.

Para modelar o desempenho dos espaços, siga estes passos:

  1. Na Google Cloud consola, abra a página do BigQuery.

    Aceda ao BigQuery

  2. Selecione o seu projeto de administração.

    1. Clique na lista pendente Selecionar a partir de na parte superior da página.
    2. Na janela de seleção apresentada, selecione o seu projeto.

  3. No menu de navegação, clique em Gestão da capacidade.

  4. Clique no separador Estimador de espaços.

  5. No menu pendente Reserva, selecione uma reserva específica. O modelo inclui o número de horários disponíveis inativos que a reserva conseguiu usar emprestados em qualquer momento.

  6. No menu pendente Modelo com espaços adicionais no número máximo de espaços, selecione um ou mais valores de espaços a modelar e clique em OK.

A tabela em Alterações no desempenho do trabalho com mais vagas mostra os dados de desempenho do trabalho dos últimos 30 dias, juntamente com a alteração estimada no desempenho devido ao aumento ou à diminuição do número máximo de vagas. Os dados são agrupados em percentagens por duração da tarefa para todas as tarefas executadas no período selecionado. A coluna indicada pelo ícone de lâmpada corresponde à recomendação de melhoria do desempenho para a reserva selecionada.

Modelagem de espaços

Os dados de desempenho são discriminados por percentil. A tabela divide os dados em, no máximo, 12 grupos: P10 a P90, mais P95, P99 e P100. O segmento P100 representa o 1% superior de tarefas que demoraram mais tempo a ser executadas; o P99 inclui os 96% a 99% superiores; o P95 inclui os 91% a 95% superiores; o P90 inclui 81% a 90%; e assim sucessivamente. Consoante os dados, a tabela pode agrupar os dados em menos conjuntos. Nesse caso, a tabela contém menos linhas.

Para cada grupo de percentis, a tabela mostra as seguintes informações:

  • Percentil de duração da tarefa: o intervalo de percentis para esta linha.
  • Duração média da tarefa: o tempo médio que as tarefas nesse intervalo de percentis demoraram a ser executadas.
  • Número de trabalhos: o número de trabalhos nesse intervalo percentual.
  • Para cada modelo, a duração média estimada dos trabalhos nesse percentil.

A tabela também apresenta uma estatística de "Alteração de 30 dias" estimada para cada modelo. Este valor é a alteração estimada no total de horas gastas no processamento das tarefas no histórico de 30 dias com diferentes capacidades de horários disponíveis.

Compreenda os resultados da modelagem com a utilização de espaços

Para reservas de capacidade fixa, se a partilha de horários disponíveis estiver ativada, as tarefas nessa reserva podem pedir emprestados horários disponíveis a outras reservas. Como resultado, a utilização pode exceder 100% dos espaços atribuídos. Se uma reserva pedir emprestados consistentemente horários disponíveis a outras reservas, isto pode ser um sinal para aumentar o tamanho da reserva. Por outro lado, se uma reserva raramente usar a sua capacidade total, a reserva pode ser demasiado grande.

As reservas que usam o dimensionamento automático usam e adicionam espaços na seguinte prioridade:

  1. Espaços de base.
  2. Partilha de espaços inativos (se ativada).
  3. Ajuste automático dos espaços.

Se uma reserva de dimensionamento automático estiver a atingir consistentemente o máximo de vagas de dimensionamento automático, isto pode ser um sinal para aumentar o número máximo de vagas de reserva. Para ver informações sobre a utilização de slots, consulte o artigo Veja gráficos de recursos administrativos.

Preços

Pode usar o estimador de posições sem custo financeiro.