Como consultar tabelas em cluster

Como consultar tabelas em cluster

Quando você cria uma tabela em cluster no BigQuery, os dados da tabela são organizados automaticamente com base no conteúdo de uma ou mais colunas no esquema da tabela. As colunas especificadas são usadas para colocar dados relacionados. Quando você cria uma tabela em cluster usando várias colunas, a ordem das colunas especificadas é importante. A ordem das colunas especificadas determina a ordem de classificação dos dados.

Para otimizar o desempenho de consultas em tabelas em cluster, use uma expressão que filtre em uma coluna em cluster ou em várias colunas em cluster, na ordem em que essas colunas estiverem especificadas. Consultas que filtram colunas em cluster geralmente têm melhor desempenho que as que filtram somente colunas que não estão em cluster.

O BigQuery classifica os dados em uma tabela em cluster com base nos valores existentes nas colunas em cluster e os organiza em blocos.

Quando você envia uma consulta que contém um filtro em uma coluna em cluster, o BigQuery usa as informações de cluster para determinar com eficiência se há dados relevantes para a consulta em um bloco. Desse modo, o BigQuery analisa apenas os blocos relevantes com um processo conhecido como "remoção de blocos".

Para consultar tabelas em cluster:

• Use o Console do GCP ou a IU clássica da Web do BigQuery.
• Use o comando bq query da ferramenta de linha de comando.
• Chame o método da API jobs.insert e configure um job de consulta.

Somente o SQL padrão pode ser usado com tabelas em cluster.

Permissões obrigatórias

Para consultar uma tabela em cluster, é necessário ter acesso READER ao conjunto de dados em que ela está.

Em vez de usar as permissões do conjunto de dados, utilize um papel do IAM de projeto que inclua as permissões bigquery.tables.getData. As permissões de bigquery.tables.getData são necessárias para leitura dos dados na tabela que está sendo consultada. Todos os papéis predefinidos do IAM para envolvidos no projeto incluem permissões bigquery.tables.getData, exceto bigquery.user, bigquery.jobUser e bigquery.metadataViewer.

Você também precisa ter permissões de bigquery.jobs.create para executar jobs de consulta. Os seguintes papéis do IAM predefinidos para envolvidos no projeto incluem permissões bigquery.jobs.create:

• bigquery.user
• bigquery.jobUser
• bigquery.admin

Para mais informações sobre os papéis e as permissões do IAM no BigQuery, consulte Controle de acesso. Para mais informações sobre os papéis para conjuntos de dados, consulte Papéis primários para conjuntos de dados.

Práticas recomendadas

Para conseguir o melhor desempenho das consultas em tabelas em cluster, use as seguintes práticas recomendadas.

Tabela de amostra usada nos exemplos

A tabela de amostra usada nos exemplos desta página é uma tabela em cluster criada com uma instrução DDL. A instrução DDL cria uma tabela denominada ClusteredSalesData. A tabela é agrupada pelas seguintes colunas: primeiro por customer_id depois por product_id depois por order_id.

CREATE TABLE
  `mydataset.ClusteredSalesData`
PARTITION BY
  DATE(timestamp)
CLUSTER BY
  customer_id,
  product_id,
  order_id AS
SELECT
  *
FROM
  `mydataset.SalesData`

Filtrar colunas em cluster na ordem em que são especificadas

Ao especificar um filtro, use expressões que filtrem as colunas em cluster na ordem de classificação.

A consulta a seguir inclui uma expressão que filtra por customer_id e depois por product_id. Essa consulta otimiza o desempenho filtrando as colunas em cluster na ordem de classificação.

SELECT
  SUM(totalSale)
FROM
  `mydataset.ClusteredSalesData`
WHERE
  customer_id = 10000
  AND product_id LIKE 'gcp_analytics%'

A consulta a seguir não filtra as colunas em cluster na ordem de classificação. Por isso, o desempenho da consulta não é o ideal. Essa consulta filtra em product_id depois em order_id (ignorando customer_id).

SELECT
  SUM(totalSale)
FROM
  `mydataset.ClusteredSalesData`
WHERE
  product_id LIKE 'gcp_analytics%'
  AND order_id = 20000

Não use colunas em cluster nas expressões de filtro complexas

Se você usar uma expressão de filtro complexa em uma coluna em cluster, o desempenho da consulta não será otimizado porque a remoção de bloco não será aplicada.

Por exemplo, a consulta a seguir não remove os blocos porque uma coluna em cluster - customer_id - é usada em uma função na expressão de filtro.

SELECT
  SUM(totalSale)
FROM
  `mydataset.ClusteredSalesData`
WHERE
  CAST(customer_id AS STRING) = "10000"

Para otimizar o desempenho da consulta removendo blocos, use expressões de filtro simples, como as seguintes. Neste exemplo, um filtro simples é aplicado à coluna em cluster - customer_id.

SELECT
  SUM(totalSale)
FROM
  `mydataset.ClusteredSalesData`
WHERE
  customer_id = 10000

Não compare colunas em cluster com outras colunas

Se uma expressão de filtro comparar uma coluna em cluster a outra (coluna em cluster ou não em cluster), o desempenho da consulta não será otimizado porque a remoção de bloco não poderá ser aplicada.

A consulta a seguir não remove os blocos porque a expressão de filtro compara uma coluna em cluster - customer_id com outra coluna - order_id.

SELECT
  SUM(totalSale)
FROM
  `mydataset.ClusteredSalesData`
WHERE
  customer_id = order_id

A seguir

• Para mais informações sobre como executar consultas, consulte Como executar consultas interativas e em lote.
• Para saber como criar e usar tabelas em cluster, consulte Como criar e usar tabelas em cluster.
• Para uma visão geral do suporte a tabelas particionadas no BigQuery, consulte Introdução às tabelas particionadas.
• Para saber como criar e usar tabelas particionadas por tempo de ingestão, clique aqui.
• Para saber como criar e usar tabelas particionadas, clique aqui.