连接简介
借助 BigQuery,您可以查询存储在 BigQuery 以外的 Google Cloud 服务(如 Cloud Storage 或 Spanner)中的数据或第三方来源(如 AWS 或 Azure)中的数据。这些外部连接使用 BigQuery Connection API。
例如,假设您在 Cloud SQL 中存储有关客户订单的详细信息,在 BigQuery 中存储有关销售的数据,并且您希望在单个查询中联接这两个表。您可以使用 BigQuery Connection API 创建与外部数据库的 Cloud SQL 连接。通过连接,您永远不会以明文形式发送数据库凭据。
连接会经过加密并安全地存储在 BigQuery 连接服务中。您可以通过向用户授予 BigQuery 连接 Identity and Access Management (IAM) 角色,为用户提供连接访问权限。
连接类型
BigQuery 为以下外部数据源提供了不同的连接类型:
- Amazon Simple Storage Service (Amazon S3)
- Apache Spark
- Azure Blob Storage
- Google Cloud 资源,例如 Vertex AI 远程模型、远程函数和 BigLake
- Spanner
- Cloud SQL
- AlloyDB for PostgreSQL
- SAP Datasphere
Amazon S3 连接
如需使用 BigQuery Omni 创建 Amazon S3 连接,请参阅连接到 Amazon S3。
拥有现有 Amazon S3 连接后,您可以执行以下操作:
Spark 连接
借助 Spark 的存储过程,您可以使用 BigQuery 运行以 Python 编写的存储过程。Spark 连接可让您连接到 Dataproc 无服务器并运行 Spark 的存储过程。
如需创建此连接,请参阅创建连接。
Blob Storage 连接
如需使用 BigQuery Omni 创建 Blob Storage 连接,请参阅连接到 Blob Storage。
拥有现有 Blob Storage 连接后,您可以执行以下操作:
Google Cloud 资源关联
Google Cloud 资源连接是一种用于授权访问其他 Google Cloud 资源(例如 Vertex AI 远程模型、远程函数和 BigLake)的连接。如需详细了解如何设置 Google Cloud 资源连接,请参阅创建和设置 Cloud 资源连接。
有了现有的 Google Cloud 资源连接后,您可以使用该连接创建以下 BigQuery 对象:
- 远程模型。如需了解详情,请参阅用于创建基于 LLM 的远程模型的 CREATE MODEL 语句、用于创建基于 Cloud AI 服务的远程模型的 CREATE MODEL 语句和用于创建基于 Vertex AI 托管模型的远程模型的 CREATE MODEL 语句。
- 远程函数。BigQuery 远程函数可让您在 Cloud Run functions 或 Cloud Run 中使用任何支持的语言实现函数。借助远程函数连接,您可以连接 Cloud Run functions 或 Cloud Run 并运行这些函数。如需创建 BigQuery 远程函数连接,请参阅创建连接。
- BigLake 表。BigLake 连接可将 BigLake 表连接到外部数据源,同时为 Cloud Storage 中的结构化和非结构化数据保留精细的 BigQuery 访问权限控制和安全性。
- 对象表。如需了解详情,请参阅对象表简介。
Spanner 连接
如需创建 Spanner 连接,请参阅连接到 Spanner。
有了现有的 Spanner 连接后,您就可以运行联合查询了。
Cloud SQL 连接
如需创建 Cloud SQL 连接,请参阅连接到 Cloud SQL。
建立现有 Cloud SQL 连接后,您就可以运行联合查询了。
AlloyDB 连接
如需创建 AlloyDB 连接,请参阅连接到 AlloyDB for PostgreSQL。
拥有现有 AlloyDB 连接后,您就可以运行联合查询了。
SAP Datasphere 连接
如需创建 SAP Datasphere 连接,请参阅连接到 SAP Datasphere。
有了现有的 SAP Datasphere 连接后,您就可以运行联合查询了。
审核日志
BigQuery 会记录有关连接的使用情况和管理请求。如需了解详情,请参阅 BigQuery 审核日志概览。
后续步骤
- 了解如何管理连接。
- 了解如何使用远程函数分析对象表。
- 了解如何查询存储的数据:
- 了解外部表。