Introdução às conexões
O BigQuery permite consultar dados armazenados fora do BigQuery nos serviços do Google Cloud, como Cloud Storage ou Spanner, ou em fontes de terceiros, como AWS ou Azure. Essas conexões externas usam a API BigQuery Connection.
Por exemplo, suponha que você armazene detalhes sobre pedidos de clientes no Cloud SQL e dados sobre vendas no BigQuery e queira mesclar as duas tabelas em uma única consulta. É possível criar uma conexão do Cloud SQL com o banco de dados externo usando a API BigQuery Connection. Com as conexões, você nunca envia as credenciais do banco de dados como texto não criptografado.
Uma conexão é criptografada e armazenada com segurança no serviço de conexão do BigQuery. Para conceder aos usuários acesso às conexões, conceda a eles papéis do Identity and Access Management (IAM) de conexão do BigQuery.
Tipos de conexão
O BigQuery oferece diferentes tipos de conexão para as seguintes fontes de dados externas:
- Amazon Simple Storage Service (Amazon S3)
- Apache Spark
- Armazenamento de blobs do Azure
- Recursos do Google Cloud, como modelos remotos da Vertex AI, funções remotas e o BigLake
- Spanner
- Cloud SQL
- AlloyDB para PostgreSQL
- SAP Datasphere
Conexões do Amazon S3
Para criar uma conexão do Amazon S3 com o BigQuery Omni, consulte Conectar ao Amazon S3.
Depois de ter uma conexão do Amazon S3, você pode fazer o seguinte:
- Criar tabelas externas no Amazon S3
- Consultar os dados do Amazon S3
- Exportar resultados para o Amazon S3
- Criar conjuntos de dados com base em bancos de dados do AWS Glue.
Conexões Spark
Os procedimentos armazenados para o Spark permitem executar procedimentos armazenados escritos em Python usando o BigQuery. Com uma conexão Spark, você pode se conectar ao Dataproc Serverless e executar os procedimentos armazenados para o Spark.
Para criar essa conexão, consulte Criar conexões.
Conexões de armazenamento de blobs
Para criar uma conexão de armazenamento de blobs com o BigQuery Omni, consulte Conectar ao armazenamento de blobs.
Depois de ter uma conexão existente do Armazenamento de Blobs, é possível fazer o seguinte:
- Criar tabelas externas com base no armazenamento de blobs
- Consultar os dados de armazenamento de blobs
- Exportar resultados para o armazenamento de blobs
Conexões de recursos do Google Cloud
Uma conexão de recursos do Google Cloud é uma conexão para autorizar o acesso a outros recursos do Google Cloud, como modelos remotos da Vertex AI, funções remotas e o BigLake. Para mais detalhes sobre como configurar uma conexão de recursos do Google Cloud, consulte Criar e configurar uma conexão de recursos do Cloud.
Quando você tiver uma conexão de recursos do Google Cloud, será possível criar os seguintes objetos do BigQuery com ela:
- Modelos remotos. Para mais informações, consulte A Instrução CREATE MODEL para modelos remotos sobre LLMs, A instrução CREATE MODEL para modelos remotos em serviços de IA do Cloud e A instrução CREATE MODEL para modelos remotos em vez de modelos hospedados na Vertex AI.
- Funções remotas. As funções remotas do BigQuery permitem implementar funções com qualquer linguagem compatível no Cloud Run functions ou no Cloud Run. Uma conexão de função remota permite se conectar ao Cloud Run functions ou ao Cloud Run e executar essas funções. Para criar uma conexão de função remota do BigQuery, consulte Criar uma conexão.
- Tabelas do BigLake. As conexões do BigLake conectam tabelas do BigLake a fontes de dados externas e mantêm o controle de acesso e a segurança refinados do BigQuery para dados estruturados e não estruturados no Cloud Storage.
- Tabelas de objetos. Para mais informações, consulte Introdução às tabelas de objetos.
Conexões do Spanner
Para criar uma conexão com o Spanner, consulte Conectar ao Spanner.
Depois de ter uma conexão do Spanner, é possível executar consultas federadas.
Conexões do Cloud SQL
Para criar uma conexão do Cloud SQL, consulte Conectar-se ao Cloud SQL.
Depois de estabelecer uma conexão do Cloud SQL, é possível executar consultas federadas.
Conexões do AlloyDB
Para criar uma conexão do AlloyDB, consulte Conectar-se ao AlloyDB para PostgreSQL.
Depois de ter uma conexão do AlloyDB, é possível executar consultas federadas.
Conexões do SAP Datasphere
Para criar uma conexão com o SAP Datasphere, consulte Conectar-se ao SAP Datasphere.
Depois de ter uma conexão do SAP Datasphere, é possível executar consultas federadas.
Registros de auditoria
O BigQuery registra as solicitações de uso e gerenciamento sobre conexões. Para mais informações, consulte Visão geral dos registros de auditoria do BigQuery.
A seguir
- Saiba como gerenciar conexões.
- Saiba como analisar tabelas de objetos usando funções remotas.
- Saiba como consultar dados armazenados:
- Consultar dados armazenados no Amazon S3.
- Consultar dados armazenados no armazenamento de blobs.
- Consultar dados estruturados armazenados no Cloud Storage.
- Consultar dados não estruturados armazenados no Cloud Storage.
- Consultar dados armazenados no Spanner.
- Consultar dados armazenados no Cloud SQL.
- Consultar dados armazenados no AlloyDB.
- Consultar dados usando funções remotas.
- Consultar dados não estruturados usando funções remotas.
- Consultar dados usando procedimentos armazenados para o Apache Spark
- Saiba mais sobre tabelas externas.