连接简介

借助 BigQuery,您可以查询存储在 BigQuery 以外的 Google Cloud 服务(如 Cloud Storage 或 Spanner)中的数据或第三方来源(如 AWS 或 Azure)中的数据。这些外部连接使用 BigQuery Connection API。

例如,假设您在 Cloud SQL 中存储有关客户订单的详细信息,在 BigQuery 中存储有关销售的数据,并且您希望在单个查询中联接这两个表。您可以使用 BigQuery Connection API 创建与外部数据库的 Cloud SQL 连接。通过连接,您永远不会以明文形式发送数据库凭据。

连接会经过加密并安全地存储在 BigQuery 连接服务中。您可以通过向用户授予 BigQuery 连接 Identity and Access Management (IAM) 角色,为用户提供连接访问权限

连接类型

BigQuery 会为以下外部数据源提供不同的连接类型:

  • Amazon Simple Storage Service (Amazon S3)
  • Apache Spark
  • Azure Blob Storage
  • Google Cloud 资源,例如 Vertex AI 远程模型、远程函数和 BigLake
  • Spanner
  • Cloud SQL
  • AlloyDB for PostgreSQL

Amazon S3 连接

如需使用 BigQuery Omni 创建 Amazon S3 连接,请参阅连接到 Amazon S3

拥有现有 Amazon S3 连接后,您可以执行以下操作:

Spark 连接

Spark 的存储过程可让您使用 BigQuery 运行以 Python 编写的存储过程。Spark 连接可让您连接到 Dataproc 无服务器并运行 Spark 的存储过程。

如需创建此连接,请参阅创建连接

Blob Storage 连接

如需使用 BigQuery Omni 创建 Blob Storage 连接,请参阅连接到 Blob Storage

拥有现有 Blob Storage 连接后,您可以执行以下操作:

Google Cloud 资源连接

Google Cloud 资源连接是用于授权访问其他 Google Cloud 资源(例如 Vertex AI 远程模型、远程函数和 BigLake)的连接。如需详细了解如何设置 Google Cloud 资源连接,请参阅创建和设置 Cloud 资源连接

拥有现有 Google Cloud 资源连接后,您可以使用该连接创建以下 BigQuery 对象:

Spanner 连接

如需创建 Spanner 连接,请参阅连接到 Spanner

拥有现有 Spanner 连接后,您可以创建联合查询。这些查询可以在您发送查询之前建立与 Spanner 的连接。

Cloud SQL 连接

如需创建 Cloud SQL 连接,请参阅连接到 Cloud SQL

拥有现有 Cloud SQL 连接后,您可以创建联合查询。这些查询可以在您发送查询之前建立与 Cloud SQL 的连接。

AlloyDB 连接

如需创建 AlloyDB 连接,请参阅连接到 AlloyDB for PostgreSQL

拥有现有 AlloyDB 连接后,您可以创建联合查询。这些查询可以在您发送查询之前建立与 AlloyDB 的连接。

审核日志

BigQuery 会记录有关连接的使用情况和管理请求。如需了解详情,请参阅 BigQuery 审核日志概览

后续步骤