Reserve capacidade do BI Engine
Compra capacidade do BI Engine criando uma reserva. O BI Engine só está disponível para projetos com uma edição suportada. As reservas são medidas em GiB de memória. A reserva está associada a um projeto e a uma região que identifica quando a reserva é criada. O BI Engine usa esta capacidade para colocar dados em cache. Para obter informações sobre o tamanho máximo da reserva do BI Engine, consulte o artigo Quotas e limites.
Quando usa o BI Engine, as cobranças baseiam-se na capacidade do BI Engine que comprou para o seu projeto. As reservas do BI Engine são cobradas por GiB/hora, com preços por região. Consulte os preços do BI Engine.
Funções necessárias
Para receber as autorizações de que
precisa para criar e eliminar reservas,
peça ao seu administrador para lhe conceder a
função do IAM administrador de recursos do BigQuery (roles/bigquery.resourceAdmin
)
no projeto.
Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.
Também pode conseguir as autorizações necessárias através de funções personalizadas ou outras funções predefinidas.
Crie uma reserva
Para reservar capacidade do BI Engine a pedido, siga estes passos:
Consola
Na página do BigQuery, em Administração, aceda à página BI Engine.
Clique em
Criar reserva.Na página Criar reserva, para o Passo 1:
- Valide o nome do projeto.
- Escolha a sua localização. A localização deve corresponder à localização dos conjuntos de dados que está a consultar.
Ajuste o controlo de deslize para a quantidade de capacidade de memória que está a reservar. O exemplo seguinte define a capacidade como 2 GB. O máximo atual é de 250 GB. Pode pedir um aumento da capacidade máxima de reserva para os seus projetos. Os aumentos de reservas estão disponíveis na maioria das regiões e podem demorar entre 3 dias e uma semana a serem processados.
Clicar em Seguinte.
Tabelas preferidas (opcional). As tabelas preferenciais permitem-lhe limitar a aceleração do BI Engine a um conjunto especificado de tabelas. Todas as outras tabelas usam slots normais do BigQuery.
No campo ID da tabela, especifique a tabela que quer acelerar através do padrão:
PROJECT.DATASET.TABLE
.Substitua o seguinte:
PROJECT
: o ID do seu Google Cloud projetoDATASET
: o conjunto de dadosTABLE
: a tabela que quer acelerar
Clicar em Seguinte.
Para o Passo 3, reveja os detalhes da reserva e, de seguida, clique em Criar.
Depois de confirmar a reserva, os detalhes são apresentados na página Reservas.
SQL
Use a ALTER BI_CAPACITY SET OPTIONS
declaração DDL para
criar ou modificar uma reserva do BI Engine.
Na Google Cloud consola, aceda à página BigQuery.
No editor de consultas, introduza a seguinte declaração:
ALTER BI_CAPACITY `PROJECT_ID.LOCATION_ID.default` SET OPTIONS ( size_gb = VALUE, preferred_tables = ['TABLE_PROJECT_ID.DATASET.TABLE1', 'TABLE_PROJECT_ID.DATASET.TABLE2']);
Substitua o seguinte:
PROJECT_ID
: o ID opcional do projeto que vai beneficiar da aceleração do BI Engine. Se for omitido, é usado o projeto predefinido.LOCATION_ID
: a localização onde os dados têm de ser colocados em cache, com o prefixoregion-
. Exemplos:region-us
,region-us-central1
.VALUE
: o tamanho da reserva para a capacidade do BI Engine em gigabytes, de 1 a 250 GB.INT64
Pode pedir um aumento da capacidade máxima de reserva para os seus projetos. Os aumentos de reservas estão disponíveis na maioria das regiões e podem demorar entre 3 dias e uma semana a serem processados. A definiçãoVALUE
substitui o valor existente, se houver um. A definição paraNULL
limpa o valor dessa opção.TABLE_PROJECT_ID.DATASET.TABLE
: a lista opcional de tabelas referidas às quais a aceleração deve ser aplicada. Formato:TABLE_PROJECT_ID.DATASET.TABLE or DATASET.TABLE
. Se o projeto for omitido, é usado o projeto predefinido.
Clique em
Executar.
Para mais informações sobre como executar consultas, consulte o artigo Execute uma consulta interativa.
bq
Use o bq update
comando e forneça a declaração de linguagem de definição de dados (LDD) como o parâmetro de consulta:
bq --project_id=PROJECT_ID update \ --bi_reservation_size=SIZE \ --location=LOCATION \ --reservation
Substitua o seguinte:
PROJECT_ID
: o ID do seu projetoSIZE
: a capacidade de memória de reserva em gigabytes, de 1 a 250 GB. Pode pedir um aumento da capacidade máxima de reserva para os seus projetos. Os aumentos de reservas estão disponíveis na maioria das regiões e podem demorar entre 3 dias e uma semana a serem processados.LOCATION
: a localização do conjunto de dados que está a consultar
Estime e meça a capacidade
Para estimar os requisitos de capacidade de uma reserva do BI Engine, siga estes passos:
Veja a vista
TOTAL_LOGICAL_BYTES
para determinar o tamanho lógico da tabela e use-o para a sua reserva inicial do BI Engine. Por exemplo:SELECT SUM(TOTAL_LOGICAL_BYTES) / 1024.0 / 1024.0 / 1024.0 AS logical_size_gb FROM `region-us.INFORMATION_SCHEMA.TABLE_STORAGE` WHERE TABLE_NAME IN UNNEST(["Table1", "Table2"]);
Por exemplo, para consultas num conjunto de tabelas que contenham um total de 200 GiB de dados, como prática recomendada, pode começar com uma reserva do BI Engine de 200 GiB. As consultas mais seletivas que usam apenas um subconjunto de campos ou partições disponíveis podem começar com um tamanho de reserva mais pequeno.
Execute todas as consultas que precisam de otimização e que foram criadas no mesmo projeto e região que a reserva do BI Engine. O objetivo é aproximar-se da carga de trabalho que tem de otimizar. O aumento da carga requer mais memória para processar as consultas. Os dados são carregados no BI Engine após a receção da consulta.
Compare a sua reserva de RAM do BI Engine com o número de bytes usados
reservation/used_bytes
nas métricas do Cloud Monitoringbigquerybiengine
.Ajuste a capacidade de reserva com base nos resultados. Em muitos exemplos de utilização, uma reserva mais pequena pode acelerar a maioria das suas consultas, conservando dinheiro e recursos. Para mais informações sobre a monitorização do BI Engine, consulte o artigo Monitorização do BI Engine.
Os seguintes fatores afetam o tamanho da reserva do BI Engine:
- O BI Engine apenas coloca em cache as colunas e as linhas acedidas com frequência necessárias para processar a consulta.
- Quando uma reserva é totalmente usada, o BI Engine tenta transferir os dados usados menos recentemente para libertar capacidade para novas consultas.
- Se várias consultas com utilização intensiva de computação estiverem a usar o mesmo conjunto de dados, o BI Engine carrega cópias adicionais dos dados para redistribuir e otimizar os tempos de resposta.
Modifique uma reserva
Para modificar uma reserva existente, conclua os seguintes passos:
Consola
Para especificar um conjunto de tabelas para aceleração numa reserva existente, siga estes passos:
Na Google Cloud consola, aceda à página BigQuery.
No menu de navegação do BigQuery, clique em BI Engine.
Se o seu projeto estiver configurado para tabelas preferenciais, é apresentado um conjunto de tabelas na coluna Tabelas preferenciais.
Na linha da reserva que quer editar, clique no ícone na coluna Ações e, de seguida, selecione Editar.
Ajuste o controlo de deslize GiB de capacidade para a quantidade de capacidade de memória que está a reservar. Clique em Seguinte.
Tabelas preferidas: para especificar um conjunto de tabelas para aceleração numa reserva existente, no campo ID da tabela, especifique a tabela que quer acelerar através do padrão:
PROJECT.DATASET.TABLE
.Substitua o seguinte:
PROJECT
: o ID do seu Google Cloud projetoDATASET
: o conjunto de dadosTABLE
: a tabela que quer acelerar
As alterações podem demorar até dez segundos a entrar em vigor. Apenas as tabelas na lista de tabelas preferenciais podem usar a aceleração do BI Engine.
Clicar em Seguinte.
Confirme a reserva modificada. Se concordar, clique em Atualizar.
SQL
Pode usar a declaração DDL ALTER BI_CAPACITY SET OPTIONS
para criar ou modificar uma reserva do BI Engine.
Na Google Cloud consola, aceda à página BigQuery.
No editor de consultas, introduza a seguinte declaração:
ALTER BI_CAPACITY `PROJECT_ID.LOCATION_ID.default` SET OPTIONS ( size_gb = VALUE, preferred_tables = [`TABLE_PROJECT_ID.DATASET.TABLE1`, `TABLE_PROJECT_ID.DATASET.TABLE2`]);
Substitua o seguinte:
PROJECT_ID
: ID opcional do projeto que vai beneficiar da aceleração do BI Engine. Se for omitido, é usado o projeto predefinido.LOCATION_ID
: a localização onde os dados têm de ser colocados em cache, com o prefixoregion-
. Exemplos:region-us
,region-us-central1
.VALUE
: o tamanhoINT64
da reserva para a capacidade do BI Engine em gigabytes, de 1 a 250 GB. Pode pedir um aumento da capacidade máxima de reserva para os seus projetos. Os aumentos de reservas estão disponíveis na maioria das regiões e podem demorar entre 3 dias e uma semana a serem processados. A definiçãoVALUE
substitui o valor existente, se houver um. A definição paraNULL
limpa o valor dessa opção.TABLE_PROJECT_ID.DATASET.TABLE
: lista opcional de tabelas preferenciais às quais a aceleração deve ser aplicada. Formato:TABLE_PROJECT_ID.DATASET.TABLE or DATASET.TABLE
. Se o projeto for omitido, é usado o projeto predefinido.
Clique em
Executar.
Para mais informações sobre como executar consultas, consulte o artigo Execute uma consulta interativa.
Elimine uma reserva
Para eliminar uma reserva de capacidade, siga estes passos:
Consola
Na página do BigQuery, em Administração, aceda à página BI Engine.
Na secção Reservas, localize a sua reserva.
Na coluna Ações, clique no ícone
à direita da sua reserva e escolha Eliminar.Na caixa de diálogo Eliminar reserva?, introduza Eliminar e, de seguida, clique em ELIMINAR.
SQL
Define as opções na capacidade do BI Engine.
Na Google Cloud consola, aceda à página BigQuery.
No editor de consultas, introduza a seguinte declaração:
ALTER BI_CAPACITY `PROJECT_ID.LOCATION_ID.default` SET OPTIONS ( size_gb = 0);
Substitua o seguinte:
PROJECT_ID
: ID opcional do projeto que vai beneficiar da aceleração do BI Engine. Se for omitido, é usado o projeto predefinido.LOCATION_ID
: a localização onde os dados têm de ser colocados em cache, com o prefixoregion-
. Exemplos:region-us
,region-us-central1
.
Quando elimina todas as reservas de capacidade num projeto, o BI Engine é desativado para esse projeto.
Clique em
Executar.
Para mais informações sobre como executar consultas, consulte o artigo Execute uma consulta interativa.
bq
Use o comando bq update
e forneça a declaração DDL como o parâmetro de consulta.
bq --project_id="PROJECT_ID" \ update --reservation --bi_reservation_size=0 \ --location=LOCATION
Substitua o seguinte:
PROJECT_ID
: o ID do seu projetoLOCATION
: a localização do conjunto de dados que está a consultar
Valide as informações do BI Engine
Pode obter informações sobre a capacidade do BI Engine consultando as tabelas INFORMATION_SCHEMA
.
Valide o estado da reserva
Para verificar o estado da sua reserva, incluindo um conjunto de mesas preferenciais,
veja a INFORMATION_SCHEMA.BI_CAPACITIES
vista através de uma consulta SQL. Por
exemplo:
SELECT * FROM `<PROJECT_ID>.region-<REGION>.INFORMATION_SCHEMA.BI_CAPACITIES`;
Na Google Cloud consola, o resultado desta consulta SQL é semelhante ao seguinte:
Veja as alterações de reserva
Para ver o histórico de alterações de uma reserva específica, use a
INFORMATION_SCHEMA.BI_CAPACITY_CHANGES
vista através de uma consulta SQL. Por exemplo:
SELECT * FROM `<PROJECT_ID>.region-<REGION>.INFORMATION_SCHEMA.BI_CAPACITY_CHANGES` ORDER BY change_timestamp DESC LIMIT 3;
Na Google Cloud consola, o resultado desta consulta SQL é semelhante ao seguinte:
O que se segue?
- Saiba mais acerca do BI Engine.
- Saiba mais acerca dos preços do BI Engine.
- Analise dados com o Looker Studio.
- Monitorize o BI Engine