Reserve capacidade do BI Engine

Compra capacidade do BI Engine criando uma reserva. O BI Engine só está disponível para projetos com uma edição suportada. As reservas são medidas em GiB de memória. A reserva está associada a um projeto e a uma região que identifica quando a reserva é criada. O BI Engine usa esta capacidade para colocar dados em cache. Para obter informações sobre o tamanho máximo da reserva do BI Engine, consulte o artigo Quotas e limites.

Quando usa o BI Engine, as cobranças baseiam-se na capacidade do BI Engine que comprou para o seu projeto. As reservas do BI Engine são cobradas por GiB/hora, com preços por região. Consulte os preços do BI Engine.

Funções necessárias

Para receber as autorizações de que precisa para criar e eliminar reservas, peça ao seu administrador para lhe conceder a função do IAM administrador de recursos do BigQuery (roles/bigquery.resourceAdmin) no projeto. Para mais informações sobre a atribuição de funções, consulte o artigo Faça a gestão do acesso a projetos, pastas e organizações.

Também pode conseguir as autorizações necessárias através de funções personalizadas ou outras funções predefinidas.

Crie uma reserva

Para reservar capacidade do BI Engine a pedido, siga estes passos:

Consola

  1. Na página do BigQuery, em Administração, aceda à página BI Engine.

    Aceda ao BI Engine

  2. Clique em Criar reserva.

  3. Na página Criar reserva, para o Passo 1:

    • Valide o nome do projeto.
    • Escolha a sua localização. A localização deve corresponder à localização dos conjuntos de dados que está a consultar.
    • Ajuste o controlo de deslize para a quantidade de capacidade de memória que está a reservar. O exemplo seguinte define a capacidade como 2 GB. O máximo atual é de 250 GB. Pode pedir um aumento da capacidade máxima de reserva para os seus projetos. Os aumentos de reservas estão disponíveis na maioria das regiões e podem demorar entre 3 dias e uma semana a serem processados.

      Localização da capacidade do BI Engine

  4. Clicar em Seguinte.

  5. Tabelas preferidas (opcional). As tabelas preferenciais permitem-lhe limitar a aceleração do BI Engine a um conjunto especificado de tabelas. Todas as outras tabelas usam slots normais do BigQuery.

    No campo ID da tabela, especifique a tabela que quer acelerar através do padrão: PROJECT.DATASET.TABLE.

    Substitua o seguinte:

    • PROJECT: o ID do seu Google Cloud projeto
    • DATASET: o conjunto de dados
    • TABLE: a tabela que quer acelerar
  6. Clicar em Seguinte.

  7. Para o Passo 3, reveja os detalhes da reserva e, de seguida, clique em Criar.

Depois de confirmar a reserva, os detalhes são apresentados na página Reservas.

SQL

Use a ALTER BI_CAPACITY SET OPTIONS declaração DDL para criar ou modificar uma reserva do BI Engine.

  1. Na Google Cloud consola, aceda à página BigQuery.

    Aceda ao BigQuery

  2. No editor de consultas, introduza a seguinte declaração:

    ALTER BI_CAPACITY `PROJECT_ID.LOCATION_ID.default`
    SET OPTIONS (
      size_gb = VALUE,
      preferred_tables =
        ['TABLE_PROJECT_ID.DATASET.TABLE1',
        'TABLE_PROJECT_ID.DATASET.TABLE2']);

    Substitua o seguinte:

    • PROJECT_ID: o ID opcional do projeto que vai beneficiar da aceleração do BI Engine. Se for omitido, é usado o projeto predefinido.
    • LOCATION_ID: a localização onde os dados têm de ser colocados em cache, com o prefixo region-. Exemplos: region-us, region-us-central1.
    • VALUE: o tamanho da reserva para a capacidade do BI Engine em gigabytes, de 1 a 250 GB.INT64 Pode pedir um aumento da capacidade máxima de reserva para os seus projetos. Os aumentos de reservas estão disponíveis na maioria das regiões e podem demorar entre 3 dias e uma semana a serem processados. A definição VALUE substitui o valor existente, se houver um. A definição para NULL limpa o valor dessa opção.
    • TABLE_PROJECT_ID.DATASET.TABLE: a lista opcional de tabelas referidas às quais a aceleração deve ser aplicada. Formato: TABLE_PROJECT_ID.DATASET.TABLE or DATASET.TABLE. Se o projeto for omitido, é usado o projeto predefinido.

  3. Clique em Executar.

Para mais informações sobre como executar consultas, consulte o artigo Execute uma consulta interativa.

bq

Use o bq updatecomando e forneça a declaração de linguagem de definição de dados (LDD) como o parâmetro de consulta:

bq --project_id=PROJECT_ID update \
    --bi_reservation_size=SIZE \
    --location=LOCATION \
    --reservation

Substitua o seguinte:

  • PROJECT_ID: o ID do seu projeto
  • SIZE: a capacidade de memória de reserva em gigabytes, de 1 a 250 GB. Pode pedir um aumento da capacidade máxima de reserva para os seus projetos. Os aumentos de reservas estão disponíveis na maioria das regiões e podem demorar entre 3 dias e uma semana a serem processados.
  • LOCATION: a localização do conjunto de dados que está a consultar

Estime e meça a capacidade

Para estimar os requisitos de capacidade de uma reserva do BI Engine, siga estes passos:

  1. Veja a vista TOTAL_LOGICAL_BYTES para determinar o tamanho lógico da tabela e use-o para a sua reserva inicial do BI Engine. Por exemplo:

    SELECT
      SUM(TOTAL_LOGICAL_BYTES) / 1024.0 / 1024.0 / 1024.0 AS logical_size_gb
    FROM
      `region-us.INFORMATION_SCHEMA.TABLE_STORAGE`
    WHERE
      TABLE_NAME IN UNNEST(["Table1", "Table2"]);

    Por exemplo, para consultas num conjunto de tabelas que contenham um total de 200 GiB de dados, como prática recomendada, pode começar com uma reserva do BI Engine de 200 GiB. As consultas mais seletivas que usam apenas um subconjunto de campos ou partições disponíveis podem começar com um tamanho de reserva mais pequeno.

  2. Execute todas as consultas que precisam de otimização e que foram criadas no mesmo projeto e região que a reserva do BI Engine. O objetivo é aproximar-se da carga de trabalho que tem de otimizar. O aumento da carga requer mais memória para processar as consultas. Os dados são carregados no BI Engine após a receção da consulta.

  3. Compare a sua reserva de RAM do BI Engine com o número de bytes usados reservation/used_bytes nas métricas do Cloud Monitoring bigquerybiengine.

  4. Ajuste a capacidade de reserva com base nos resultados. Em muitos exemplos de utilização, uma reserva mais pequena pode acelerar a maioria das suas consultas, conservando dinheiro e recursos. Para mais informações sobre a monitorização do BI Engine, consulte o artigo Monitorização do BI Engine.

Os seguintes fatores afetam o tamanho da reserva do BI Engine:

  • O BI Engine apenas coloca em cache as colunas e as linhas acedidas com frequência necessárias para processar a consulta.
  • Quando uma reserva é totalmente usada, o BI Engine tenta transferir os dados usados menos recentemente para libertar capacidade para novas consultas.
  • Se várias consultas com utilização intensiva de computação estiverem a usar o mesmo conjunto de dados, o BI Engine carrega cópias adicionais dos dados para redistribuir e otimizar os tempos de resposta.

Modifique uma reserva

Para modificar uma reserva existente, conclua os seguintes passos:

Consola

Para especificar um conjunto de tabelas para aceleração numa reserva existente, siga estes passos:

  1. Na Google Cloud consola, aceda à página BigQuery.

    Aceda ao BigQuery

  2. No menu de navegação do BigQuery, clique em BI Engine.

    Se o seu projeto estiver configurado para tabelas preferenciais, é apresentado um conjunto de tabelas na coluna Tabelas preferenciais.

    imagem

  3. Na linha da reserva que quer editar, clique no ícone na coluna Ações e, de seguida, selecione Editar.

  4. Ajuste o controlo de deslize GiB de capacidade para a quantidade de capacidade de memória que está a reservar. Clique em Seguinte.

  5. Tabelas preferidas: para especificar um conjunto de tabelas para aceleração numa reserva existente, no campo ID da tabela, especifique a tabela que quer acelerar através do padrão: PROJECT.DATASET.TABLE.

    Substitua o seguinte:

    • PROJECT: o ID do seu Google Cloud projeto
    • DATASET: o conjunto de dados
    • TABLE: a tabela que quer acelerar

    As alterações podem demorar até dez segundos a entrar em vigor. Apenas as tabelas na lista de tabelas preferenciais podem usar a aceleração do BI Engine.

    Clicar em Seguinte.

  6. Confirme a reserva modificada. Se concordar, clique em Atualizar.

SQL

Pode usar a declaração DDL ALTER BI_CAPACITY SET OPTIONS para criar ou modificar uma reserva do BI Engine.

  1. Na Google Cloud consola, aceda à página BigQuery.

    Aceda ao BigQuery

  2. No editor de consultas, introduza a seguinte declaração:

    ALTER BI_CAPACITY `PROJECT_ID.LOCATION_ID.default`
    SET OPTIONS (
      size_gb = VALUE,
      preferred_tables =
        [`TABLE_PROJECT_ID.DATASET.TABLE1`,
        `TABLE_PROJECT_ID.DATASET.TABLE2`]);

    Substitua o seguinte:

    • PROJECT_ID: ID opcional do projeto que vai beneficiar da aceleração do BI Engine. Se for omitido, é usado o projeto predefinido.
    • LOCATION_ID: a localização onde os dados têm de ser colocados em cache, com o prefixo region-. Exemplos: region-us, region-us-central1.
    • VALUE: o tamanho INT64 da reserva para a capacidade do BI Engine em gigabytes, de 1 a 250 GB. Pode pedir um aumento da capacidade máxima de reserva para os seus projetos. Os aumentos de reservas estão disponíveis na maioria das regiões e podem demorar entre 3 dias e uma semana a serem processados. A definição VALUE substitui o valor existente, se houver um. A definição para NULL limpa o valor dessa opção.
    • TABLE_PROJECT_ID.DATASET.TABLE: lista opcional de tabelas preferenciais às quais a aceleração deve ser aplicada. Formato: TABLE_PROJECT_ID.DATASET.TABLE or DATASET.TABLE. Se o projeto for omitido, é usado o projeto predefinido.

  3. Clique em Executar.

Para mais informações sobre como executar consultas, consulte o artigo Execute uma consulta interativa.

Elimine uma reserva

Para eliminar uma reserva de capacidade, siga estes passos:

Consola

  1. Na página do BigQuery, em Administração, aceda à página BI Engine.

    Aceda ao BI Engine

  2. Na secção Reservas, localize a sua reserva.

  3. Na coluna Ações, clique no ícone à direita da sua reserva e escolha Eliminar.

  4. Na caixa de diálogo Eliminar reserva?, introduza Eliminar e, de seguida, clique em ELIMINAR.

SQL

Define as opções na capacidade do BI Engine.

  1. Na Google Cloud consola, aceda à página BigQuery.

    Aceda ao BigQuery

  2. No editor de consultas, introduza a seguinte declaração:

    ALTER BI_CAPACITY `PROJECT_ID.LOCATION_ID.default`
    SET OPTIONS (
      size_gb = 0);

    Substitua o seguinte:

    • PROJECT_ID: ID opcional do projeto que vai beneficiar da aceleração do BI Engine. Se for omitido, é usado o projeto predefinido.
    • LOCATION_ID: a localização onde os dados têm de ser colocados em cache, com o prefixo region-. Exemplos: region-us, region-us-central1.

    Quando elimina todas as reservas de capacidade num projeto, o BI Engine é desativado para esse projeto.

  3. Clique em Executar.

Para mais informações sobre como executar consultas, consulte o artigo Execute uma consulta interativa.

bq

Use o comando bq update e forneça a declaração DDL como o parâmetro de consulta.

bq --project_id="PROJECT_ID" \
update --reservation
    --bi_reservation_size=0 \
    --location=LOCATION

Substitua o seguinte:

  • PROJECT_ID: o ID do seu projeto
  • LOCATION: a localização do conjunto de dados que está a consultar

Valide as informações do BI Engine

Pode obter informações sobre a capacidade do BI Engine consultando as tabelas INFORMATION_SCHEMA.

Valide o estado da reserva

Para verificar o estado da sua reserva, incluindo um conjunto de mesas preferenciais, veja a INFORMATION_SCHEMA.BI_CAPACITIES vista através de uma consulta SQL. Por exemplo:

SELECT
  *
FROM
  `<PROJECT_ID>.region-<REGION>.INFORMATION_SCHEMA.BI_CAPACITIES`;

Na Google Cloud consola, o resultado desta consulta SQL é semelhante ao seguinte:

imagem

Veja as alterações de reserva

Para ver o histórico de alterações de uma reserva específica, use a INFORMATION_SCHEMA.BI_CAPACITY_CHANGES vista através de uma consulta SQL. Por exemplo:

SELECT
  *
FROM
  `<PROJECT_ID>.region-<REGION>.INFORMATION_SCHEMA.BI_CAPACITY_CHANGES`
ORDER BY
  change_timestamp DESC
LIMIT 3;

Na Google Cloud consola, o resultado desta consulta SQL é semelhante ao seguinte:

linhas de resultados com change_timestamp project_id project_number

O que se segue?