Gerenciamento de cargas de trabalho usando reservas legadas

Observação :as reservas legadas, incluindo o acesso ao faturamento de taxa fixa ou a determinadas durações de compromisso, estão disponíveis somente para clientes da lista de permissões. Para determinar se você tem acesso a esses recursos legados, entre em contato com o administrador.

Esta página descreve como usar o BigQuery Reservations para ajudar a gerenciar as cargas de trabalho do BigQuery.

Escolher um modelo de faturamento

A qualquer momento, é possível alternar entre os modelos de faturamento sob demanda e de taxa fixa ou combinar os dois modelos. Os dois modelos de preços são complementares entre si. O faturamento sob demanda é eficiente, e o de taxa fixa é previsível.

Considere os seguintes fatores ao escolher o faturamento de taxa fixa:

• Custo. O Google recomenda que os gastos mensais com análises correspondam ao compromisso mínimo de taxa fixa do BigQuery (atualmente, 100 slots por mês).
• Eficiência. Considere o faturamento sob demanda se a eficiência for fundamental, porque você paga por consulta.
• Previsibilidade. Se a previsibilidade do valor mensal for importante, talvez você prefira a taxa fixa, porque você paga um preço fixo mensalmente.
• Recursos. Os modelos de faturamento de taxa fixa e sob demanda diferem na forma como eles oferecem capacidade. Para mais informações, consulte Como estimar a quantidade de slots a serem adquiridos.

Como um novo cliente, você pode começar com a taxa fixa. A qualquer momento, você pode avaliar como seriam os custos com o faturamento sob demanda e, a qualquer momento, escolher o modelo ideal.

Também é possível usar slots flexíveis para testar o preço e o desempenho do faturamento de taxa fixa em sua organização antes de definir uma configuração de carga de trabalho estável. Os slots flexíveis fazem parte de um tipo especial de compromisso:

• O compromisso dura apenas 60 segundos.
• É possível cancelar slots flexíveis a qualquer momento.
• Você receberá a cobrança apenas pelos segundos de atividade do seu compromisso.

É possível combinar compromissos de slot flexíveis com outros tipos de compromisso. Eles são ideais para casos de uso de curto prazo que variam de minutos a dias por vez:

• Planejamento para grandes eventos da agenda, como a temporada fiscal, a Black Friday, os eventos de mídia mais conhecidos e os lançamentos de videogames.
• Conhecer períodos cíclicos de alta demanda por análises, como as manhãs de segunda-feira.
• Conclusão das avaliações do armazenamento de dados e acesso ao número ideal de slots a serem usados.

Também é possível combinar modelos de faturamento sob demanda e com taxa fixa, no nível da carga de trabalho ou da unidade de negócios, organizando cargas de trabalho ou unidades de negócios em projetos diferentes ou pastas e atribuir cada uma a uma reserva ou a um faturamento sob demanda.

Observação: os preços sob demanda oferecem acesso a 2.000 slots ou mais por projeto do Google Cloud. Com preços fixos, é possível confirmar menos de 2.000 slots, mas suas consultas podem ter um desempenho menor, dependendo das demandas de carga de trabalho.

É possível usar taxa fixa em uma região e sob demanda em outra região. Por padrão, todos os projetos usam o faturamento sob demanda. Em uma região, é possível ativar um faturamento de taxa fixa para um projeto, uma organização ou uma organização. Por exemplo, se você adquirir um compromisso de slot na multirregião US e atribuir a organização à reserva padrão, a organização usará o faturamento de taxa fixa na multirregião US, mas permanecerá em faturamento sob demanda em todas as outras regiões.

Em uma região, é possível combinar o faturamento de taxa fixa e sob demanda atribuindo projetos a uma reserva explicitamente. Qualquer projeto que não esteja atribuído a uma reserva permanecerá no faturamento sob demanda. Também é possível atribuir explicitamente um projeto para usar o faturamento sob demanda atribuindo o ID de reserva none. Isso é útil quando você atribui uma pasta ou organização a uma reserva, mas quer que alguns projetos dentro dessa pasta ou organização usem o faturamento sob demanda. Para mais informações, consulte Atribuir um projeto a None.

Projetos com faturamento sob demanda usam capacidade separada da sua capacidade confirmada. Esses projetos não afetam a disponibilidade da capacidade do compromisso.

Compromissos expirados

Se você tiver compromissos de taxa fixa, eles serão removidos, a menos que um plano de renovação seja especificado. Para garantir que você não perca capacidade, os slots extras são movidos para o valor de referência de uma reserva criada pelo sistema chamada system-created-Enterprise. Depois que os compromissos expiram, sua fatura terá três partes:

1. Compromissos restantes.
2. Slots de referência que não são cobertos pelos outros compromissos.
3. Slots escalonados gerenciados pelo escalonamento automático.

Cenário 1: os compromissos são iguais ao valor de referência total

Você tem um compromisso que expira com 100 slots e uma reserva com 100 slots de valor de referência.

Os 100 slots são removidos e você vai receber cobranças com base nos 100 slots de valor de referência.

Cenário 2: compromissos são maiores do que o valor de referência total

Você tem um compromisso que expira com 200 slots e uma reserva com 100 slots de valor de referência.

Os 200 slots são removidos, e system-created-Enterprise é criado com um valor de referência de 100. Você vai receber cobranças com base no valor de referência total de 200.

Cenário 3: compromissos com o plano de renovação de taxa fixa anual

Você tem um compromisso de taxa fixa anual que expira com 100 slots e o plano de renovação anual de taxa fixa.

Os 100 slots são transferidos para um compromisso anual Enterprise com um plano de renovação anual.

Como criar um projeto de administração

Quando você cria compromissos e reservas, eles são associados a um projeto do Google Cloud. Esse projeto gerencia os recursos do BigQuery Reservations e é a principal fonte de faturamento desses recursos. Esse projeto não precisa ser o mesmo projeto que contém seus jobs do BigQuery.

O Google recomenda criar um projeto dedicado para os recursos do Reservations. Esse projeto é chamado de administrador de administração, porque centraliza o faturamento e o gerenciamento dos compromissos. Dê a este projeto um nome descritivo, como bq-COMPANY_NAME-admin. Em seguida, crie um ou mais projetos separados para armazenar seus jobs do BigQuery.

Apenas projetos no mesmo recurso de Organização que o projeto de administração podem ser atribuídos a uma reserva. Se o projeto de administração não fizer parte de uma Organização, somente ele poderá usar os slots.

O projeto de administração é cobrado pelos slots confirmados. Os projetos que usam esses slots são cobrados pelo armazenamento, mas não pelos slots. É possível comprar mais de um tipo de plano (por exemplo, mensal e anual) e colocar os slots no mesmo projeto de administração.

Observação: depois de criar um compromisso, não será possível movê-lo para um projeto de administração diferente.

Recomendamos criar um projeto de administração para todas as reservas. Usar um único projeto de administração simplifica o gerenciamento do faturamento e a alocação de slots. Também recomendamos que você ative a API BigQuery Reservations somente no projeto de administração, para que todos os compromissos sejam gerenciados por esse projeto.

Como estimar quantos slots serão adquiridos

O BigQuery foi projetado para escalonamento linear com recursos aprimorados. Dependendo da carga de trabalho, a capacidade incremental oferecerá benefícios adicionais. Portanto, a escolha do número ideal de slots a serem adquiridos depende dos seus requisitos de desempenho, capacidade e utilidade.

É possível usar os locais flexíveis para testar a melhor configuração de slots. Por exemplo, você pode testar sua carga de trabalho com 500, 1.000, 1.500 e 2.000 slots e observar o impacto no desempenho.

Também é possível examinar o uso atual do slot dos seus projetos, junto com o preço mensal desejado. No momento, cargas de trabalho sob demanda têm um limite de 2.000 slots, mas é importante verificar quantos slots estão sendo usados pelos projetos com visualizações INFORMATION_SCHEMA.JOBS*, o Cloud Logging, a API de jobs ou os registros de auditoria do BigQuery. Para mais informações, consulte Como visualizar os slots disponíveis e os alocados.

Depois de comprar slots e executar as cargas de trabalho por pelo menos sete dias, use o estimador de slot (Visualização) para analisar o desempenho e modelar o efeito de adicionar ou reduzir slots. Para mais informações, consulte Estimar requisitos de capacidade do slot.

Como gerenciar cargas de trabalho e departamentos usando reservas

É possível usar o BigQuery Reservations para isolar a capacidade do compromisso entre cargas de trabalho, equipes ou departamentos criando outras reservas e atribuindo projetos a essas reservas. Uma reserva é um pool isolado de recursos com o benefício adicional da possibilidade de utilização da capacidade inativa em toda a organização.

Por exemplo, você pode ter um total de capacidade de compromisso de 1.000 slots e três tipos de cargas de trabalho: ciência de dados ELT e BI.

• É possível criar uma reserva ds com 500 slots, e atribuir todos os projetos relevantes do Google Cloud à reserva ds.
• É possível criar uma reserva elt com 300 slots e atribuir projetos usados para as cargas de trabalho de ELT à reserva elt.
• É possível criar uma reserva bi com 200 slots e atribuir projetos conectados às ferramentas de BI à reserva bi.

Em vez de particionar a capacidade entre cargas de trabalho, é possível criar reservas para equipes ou departamentos individuais.

Como gerenciar reservas em diferentes regiões

As reservas são um recurso regional. Os slots adquiridos e as reservas criadas em uma região não podem ser usados em outra região. Os projetos, as pastas e as organizações podem ser atribuídos às reservas em uma região e executados sob demanda em outra. Para gerenciar reservas em outra região, é preciso alterar a região na página Gerenciamento de capacidade do BigQuery:

1. No console do BigQuery, clique em Reservas.
2. Clique no seletor de Local e selecione uma região na qual você queira gerenciar reservas.
3. Depois que uma região for selecionada, será possível comprar slots, criar reservas e atribuir um projeto a uma reserva.

BigQuery Reservations para organizações complexas

O BigQuery Reservations é um recurso com escopo na organização. Você compra a capacidade de compromisso de forma centralizada para ser usada em toda a organização. É possível exigir que departamentos ou divisões individuais gerenciem as reservas do BigQuery deles comprando capacidade de compromisso e distribuindo essa capacidade no departamento ou na divisão. O projeto de administração está associado a uma conta do Cloud Billing, que é cobrada pela capacidade.

É possível usar uma organização distinta do Google Cloud para cada um dos departamentos ou divisões. Neste cenário, defina um projeto de administração para cada organização e gerencie o BigQuery Reservations dessa organização a partir do projeto de administração. Não há compartilhamento de capacidade inativa ou de compromisso entre organizações.

Os slots inativos e não alocados são compartilhados apenas entre reservas criadas no mesmo projeto do administrador. Se você usar mais de um projeto de administração, os slots não serão compartilhados entre reservas de projetos diferentes.