Introdução ao BigQuery Omni

Com o BigQuery Omni, é possível executar análises do BigQuery nos dados armazenados no Amazon Simple Storage Service (Amazon S3) ou no Armazenamento de Blobs do Azure usando tabelas do BigLake.

Diversas organizações armazenam dados em várias nuvens públicas. Muitas vezes, esses dados acabam ficando isolados, já que é difícil extrair insights de todos eles. Você quer analisar dados com uma ferramenta de várias nuvens que seja barata, rápida e não gere mais sobrecarga da governança de dados descentralizada. Com o BigQuery Omni, esses atritos são reduzidos com uma interface unificada.

Para executar a análise do BigQuery nos seus dados externos, primeiro você precisa se conectar ao Amazon S3 ou ao Armazenamento de Blobs. Para consultar dados externos, crie uma tabela do BigLake com referência aos dados do Amazon S3 ou do Armazenamento de Blobs.

Também é possível mover dados entre nuvens para combinar dados entre elas usando a transferência entre nuvens. O BigQuery Omni é uma solução de análise entre nuvens com a capacidade de analisar dados onde eles estão e a flexibilidade de replicar dados quando necessário. Para mais informações, consulte Carregar dados com transferência entre nuvens.

Observação: para automatizar a migração de dados do Amazon S3 para o BigQuery de maneira programada e gerenciada, consulte Serviço de transferência de dados do BigQuery.

Arquitetura

A arquitetura do BigQuery separa a computação do armazenamento, o que permite escalonar horizontalmente o BigQuery conforme necessário para lidar com cargas de trabalho muito grandes. O BigQuery Omni estende essa arquitetura com a execução do mecanismo de consulta do BigQuery em outras nuvens. Assim, você não precisa mover fisicamente os dados para o armazenamento do BigQuery. O processamento acontece no local em que os dados já estão.

Os resultados da consulta podem ser retornados ao Google Cloud por uma conexão segura. Por exemplo, para serem exibidos no console do Google Cloud. Outra possibilidade é gravar os resultados diretamente em buckets do Amazon S3 ou do Armazenamento de Blobs. Nesse caso, não haverá movimentação entre nuvens dos resultados da consulta.

O BigQuery Omni usa papéis padrão do IAM da AWS ou principais do Azure Active Directory para acessar os dados na sua assinatura. Você delega o acesso de leitura ou gravação ao BigQuery Omni e pode revogar quando quiser.

Observação: o acesso de gravação será necessário só se você quiser gravar os resultados da consulta no bucket do Amazon S3 ou no contêiner do Armazenamento de Blobs.

Fluxo de dados ao consultar dados

A imagem a seguir descreve como os dados são movidos entre o Google Cloud e a AWS ou o Azure para as seguintes consultas:

• Instrução SELECT
• Instrução CREATE EXTERNAL TABLE

Figura 1: movimentação de dados entre Google Cloud e AWS ou Azure para consultas.

1. O plano de controle do BigQuery recebe de você os jobs de consulta por meio do console do Google Cloud, da ferramenta de linha de comando bq, de um método de API ou de uma biblioteca de cliente.
2. O plano de controle do BigQuery envia jobs de consulta para processamento no plano de dados do BigQuery na AWS ou no Azure.
3. O plano de dados do BigQuery recebe consultas do plano de controle por uma conexão VPN.
4. O plano de dados do BigQuery lê os dados da tabela do bucket do Amazon S3 ou do Armazenamento de Blobs.
5. O plano de dados do BigQuery executa o job de consulta nos dados da tabela. O processamento dos dados da tabela ocorre na região especificada da AWS ou do Azure.
6. O resultado da consulta é transmitido do plano de dados para o plano de controle pela conexão VPN.
7. O plano de controle do BigQuery recebe os resultados do job de consulta para a exibição em resposta a ele. Esses dados são armazenados por até 24 horas.
8. O resultado é retornado para você.

Para mais informações, consulte Consultar dados do Amazon S3 e Dados do Armazenamento de Blobs.

Fluxo de dados ao exportar dados

A imagem a seguir descreve como os dados são migrados entre o Google Cloud e a AWS ou Azure durante uma instrução EXPORT DATA.

Figura 2: movimentação de dados entre o Google Cloud e a AWS ou Azure para consultas de exportação.

1. O plano de controle do BigQuery recebe de você os jobs de consulta de exportação por meio do console do Google Cloud, da ferramenta de linha de comando bq, de um método de API ou de uma biblioteca de cliente. A consulta contém o caminho do destino para o resultado da consulta no bucket do Amazon S3 ou no Armazenamento de Blobs.
2. O plano de controle do BigQuery envia jobs de consulta de exportação para processamento no plano de dados do BigQuery (na AWS ou no Azure).
3. O plano de dados do BigQuery recebe a consulta de exportação do plano de controle pela conexão VPN.
4. O plano de dados do BigQuery lê os dados da tabela do bucket do Amazon S3 ou do Armazenamento de Blobs.
5. O plano de dados do BigQuery executa o job de consulta nos dados da tabela. O processamento de dados de tabela ocorre na região selecionada da AWS ou do Azure.
6. O BigQuery grava o resultado da consulta no caminho de destino especificado no bucket do Amazon S3 ou no Armazenamento de Blobs.

Para mais informações, consulte Exportar resultados de consulta para o Amazon S3 e Armazenamento de Blobs.

Benefícios

Desempenho. É possível extrair insights mais rapidamente, já que os dados não são copiados nas nuvens e as consultas são executadas na mesma região em que os dados residem.

Custo. Você economiza custos de saída de rede porque os dados não são migrados. Não há cobranças extras na sua conta da AWS nem do Azure relacionadas à análise do BigQuery Omni, porque as consultas são executadas em clusters gerenciados pelo Google. Você paga somente pela execução das consultas, de acordo com o modelo de preços do BigQuery.

Segurança e governança de dados. Você gerencia os dados na assinatura da AWS ou do Azure. Não é necessário mover ou copiar os dados brutos da nuvem pública. Toda a computação é feita no serviço multilocatário do BigQuery, que é executado na mesma região dos dados.

Arquitetura sem servidor. Assim como o restante do BigQuery, o BigQuery Omni é uma oferta sem servidor. O Google implanta e gerencia os clusters que executam o BigQuery Omni. Você não precisa provisionar recursos nem gerenciar clusters.

Gerenciamento mais fácil. O BigQuery Omni tem uma interface de gerenciamento unificada por meio do Google Cloud. O BigQuery Omni pode usar sua conta do Google Cloud e projetos do BigQuery. É possível criar uma consulta GoogleSQL no console do Google Cloud para consultar dados na AWS ou no Azure e ver os resultados exibidos no console do Google Cloud.

Transferência entre nuvens. É possível carregar dados de buckets do S3 e do Armazenamento de Blobs para tabelas padrão do BigQuery. Para mais informações, consulte Transferir dados do Amazon S3 e Dados do Armazenamento de Blobs para o BigQuery.

Limitações

Além das limitações para tabelas do BigLake, as limitações a seguir são aplicáveis ao BigQuery Omni, que inclui tabelas do BigLake com base nos dados do Amazon S3 e do Armazenamento de Blobs:

• As visualizações INFORMATION_SCHEMA OBJECT_PRIVILEGES, STREAMING_TIMELINE_BY_* e TABLE_SNAPSHOTS não estão disponíveis para tabelas do BigLake baseadas nos dados do Amazon S3 e do Armazenamento de Blobs.
• As visualizações materializadas estão indisponíveis.
• UDFs em JavaScript não são compatíveis.

• Estas instruções SQL não são compatíveis:

  • Instruções do BigQuery ML.
  • Instruções da linguagem de definição de dados (DDL, na sigla em inglês) que exigem dados gerenciados no BigQuery. Por exemplo, CREATE EXTERNAL TABLE, CREATE SCHEMA ou CREATE RESERVATION são compatíveis, mas CREATE MATERIALIZED VIEW não é.
  • Instruções da linguagem de manipulação de dados (DML).

• As limitações a seguir se aplicam à consulta e leitura de tabelas temporárias de destino (visualização):

  • Não é possível consultar tabelas temporárias de destino com a instrução SELECT.
  • Não é possível usar a API BigQuery Storage Read para ler dados de tabelas temporárias de destino.
  • Ao usar o driver ODBC, não há suporte para leituras de alta capacidade (opção EnableHTAPI).

• As consultas programadas são compatíveis apenas com a API ou a CLI. A opção tabela de destino está desativada para consultas. Só consultas EXPORT DATA são permitidas.

• A API BigQuery Storage não está disponível nas regiões do BigQuery Omni.

Preços

Para informações sobre preços e ofertas por tempo limitado no BigQuery Omni, consulte Preços do BigQuery Omni.

Cotas e limites

A cota para o total de tamanhos de resultados de consulta para um projeto é de 1 TB por dia (visualização). O limite para o tamanho máximo do resultado de uma consulta é de 20 GiB de bytes lógicos (pré-lançamento). Se o resultado da consulta for maior que 20 GiB, exporte os resultados para o Amazon S3 ou o Blob Storage.

Para mais informações sobre o assunto, consulte Cotas e limites.

Locais

O BigQuery processa consultas no mesmo local do conjunto de dados que contém as tabelas que você está consultando. Depois que você cria o conjunto de dados, o local não pode ser alterado. Os dados residem na sua conta da AWS ou do Azure.

	Descrição da região	Nome da região
AWS
	AWS - US East (N. Virginia)	aws-us-east-1
Azure
	Azure - East US 2	azure-eastus2

A seguir

• Saiba como se conectar ao Amazon S3 e ao Armazenamento de Blobs.
• Saiba como consultar os dados do Amazon S3 e os dados do Armazenamento de Blobs.
• Saiba como exportar os resultados da consulta para o Amazon S3 e o Armazenamento de Blobs.
• Saiba como transferir dados do Amazon S3 e do Armazenamento de Blobs para o BigQuery.
• Saiba como configurar o perímetro do VPC Service Controls.
• Saiba como especificar seu local.