连接简介

借助 BigQuery，您可以查询存储在 BigQuery 以外的 Google Cloud 服务（如 Cloud Storage 或 Spanner）中的数据或第三方来源（如 AWS 或 Azure）中的数据。这些外部连接使用 BigQuery Connection API。

例如，假设您在 Cloud SQL 中存储有关客户订单的详细信息，在 BigQuery 中存储有关销售的数据，并且您希望在单个查询中联接这两个表。您可以使用 BigQuery Connection API 创建与外部数据库的 Cloud SQL 连接。通过连接，您永远不会以明文形式发送数据库凭据。

连接会经过加密并安全地存储在 BigQuery 连接服务中。您可以通过向用户授予 BigQuery 连接 Identity and Access Management (IAM) 角色，为用户提供连接访问权限。

连接类型

BigQuery 会为以下外部数据源提供连接：

• BigLake 表：BigLake 连接有助于连接以下外部数据源，同时保留精细的 BigQuery 访问权限控制和安全性：

  • Cloud Storage 中的结构化数据
  • Cloud Storage 中的非结构化数据
  • 与 BigQuery Omni 结合使用的 Amazon S3
  • 与 BigQuery Omni 结合使用的 Azure Blob Storage

  如需了解详情，请参阅 BigLake 表简介。

• 联合查询：在发送查询之前，联合连接会 建立与以下数据库的连接。连接负责处理联合查询的数据库凭据。

  • Spanner
  • Cloud SQL

  如需了解详情，请参阅联合查询简介。

• 远程函数：BigQuery 远程函数可让您在 Cloud Functions 或 Cloud Run 中使用任何支持的语言实现函数。借助 BigQuery 连接，您可以连接 Cloud Functions 或 Cloud Run 并运行这些函数。

  如需了解详情，请参阅使用远程函数和使用远程函数分析对象表。

• Apache Spark：Apache Spark 的存储过程可让您使用 BigQuery 运行以 Python 编写的存储过程。Spark 连接可让您连接到 Dataproc 无服务器并运行 Apache Spark 的存储过程。

  如需了解详情，请参阅使用 Apache Spark 的存储过程。

注意：您无需连接即可查询 Bigtable 和 Google 云端硬盘中的数据。

审核日志

BigQuery 会记录有关连接的使用情况和管理请求。如需了解详情，请参阅 BigQuery 审核日志概览。

后续步骤

• 了解如何查询存储的数据：
  • 查询存储在 Amazon S3 中的数据。
  • 查询存储在 Blob Storage 中的数据。
  • 查询存储在 Cloud Storage 中的结构化数据。
  • 查询存储在 Cloud Storage 中的非结构化数据。
  • 查询存储在 Spanner 中的数据。
  • 查询存储在 Cloud SQL 中的数据。
  • 使用远程函数查询数据。
  • 使用远程函数查询非结构化数据。
  • 使用 Apache Spark 的存储过程查询数据。
• 了解如何管理连接。
• 了解外部表。