Introdução às conexões

O BigQuery permite consultar dados armazenados fora do BigQuery nos serviços do Google Cloud, como Cloud Storage ou Spanner, ou em fontes de terceiros, como AWS ou Azure. Essas conexões externas usam a API BigQuery Connection.

Por exemplo, suponha que você armazene detalhes sobre pedidos de clientes no Cloud SQL e dados sobre vendas no BigQuery e queira mesclar as duas tabelas em uma única consulta. É possível criar uma conexão do Cloud SQL com o banco de dados externo usando a API BigQuery Connection. Com as conexões, você nunca envia as credenciais do banco de dados como texto não criptografado.

Uma conexão é criptografada e armazenada com segurança no serviço de conexão do BigQuery. Para conceder aos usuários acesso às conexões, conceda a eles papéis do Identity and Access Management (IAM) de conexão do BigQuery.

Tipos de conexão

O BigQuery fornece conexões para as seguintes fontes de dados externas:

• Tabelas do BigLake: as conexões do BigLake ajudam a conectar as fontes de dados externas a seguir, mantendo o controle de acesso refinado e a segurança do BigQuery:

  • Dados estruturados no Cloud Storage
  • Dados não estruturados no Cloud Storage
  • Amazon S3 com BigQuery Omni
  • Armazenamento de blobs do Azure com o BigQuery Omni

  Para mais informações, consulte Introdução às tabelas do BigLake.

• Consultas federadas: as conexões federadas estabelecem conexões com os seguintes bancos de dados antes de você enviar a consulta. As conexões lidam com as credenciais do banco de dados para consultas federadas.

  • Spanner
  • Cloud SQL

  Para mais informações, consulte Introdução a consultas federadas.

• Funções remotas: as funções remotas do BigQuery permitem implementar funções com qualquer linguagem compatível no Cloud Functions ou no Cloud Run. Uma conexão do BigQuery permite se conectar ao Cloud Functions ou ao Cloud Run e executar essas funções.

  Para mais informações, consulte Como trabalhar com funções remotas e Analisar tabelas de objetos usando funções remotas.

• Apache Spark: os procedimentos armazenados para o Apache Spark permitem executar procedimentos armazenados em Python usando o BigQuery. Com uma conexão Spark, você pode se conectar ao Dataproc Serverless e executar os procedimentos armazenados para o Apache Spark.

  Para mais informações, consulte Trabalhar com procedimentos armazenados para o Apache Spark.

Observação: você não precisa de uma conexão para consultar dados no Bigtable e no Google Drive.

Registros de auditoria

O BigQuery registra as solicitações de uso e gerenciamento sobre conexões. Para mais informações, consulte Visão geral dos registros de auditoria do BigQuery.

A seguir

• Saiba como consultar dados armazenados:
  • Consultar dados armazenados no Amazon S3.
  • Consultar dados armazenados no armazenamento de blobs.
  • Consultar dados estruturados armazenados no Cloud Storage.
  • Consultar dados não estruturados armazenados no Cloud Storage.
  • Consultar dados armazenados no Spanner.
  • Consultar dados armazenados no Cloud SQL.
  • Consultar dados usando funções remotas.
  • Consultar dados não estruturados usando funções remotas.
  • Consultar dados usando procedimentos armazenados para o Apache Spark
• Saiba como gerenciar conexões.
• Saiba mais sobre tabelas externas.