Looker 的 BigQuery 默认连接（Google Cloud 核心）

Looker (Google Cloud Core) 必须连接到数据库才能进行数据探索。您可以使用 BigQuery 快速入门连接创建与 BigQuery 标准 SQL 数据库的默认连接。

首页上的 BigQuery 快速入门功能块。

准备工作

配置 BigQuery 快速入门连接需要以下权限。

Looker 权限

如果您拥有以下 Looker 权限之一，则可以在 Looker (Google Cloud Core)实例的首页上查看和修改 BigQuery 快速入门连接页面：

IAM 权限

在设置与 BigQuery 的连接时，Looker (Google Cloud Core) 实例可以使用应用默认凭据 (ADC) 进行身份验证。使用 ADC 时，连接将使用 Looker (Google Cloud 核心) 服务账号的凭据向数据库进行身份验证。服务账号必须具有以下 IAM 权限才能访问 BigQuery 数据集：

  • 对于包含 BigQuery 数据集的项目，Looker 服务账号必须具有以下 IAM 角色：

    • Service Usage Consumer (roles/serviceusage.serviceUsageConsumer)
    • BigQuery Job User (roles/bigquery.jobUser)

    • BigQuery Data Editor (roles/bigquery.dataEditor) 角色，或以下 IAM 权限：

      • bigquery.config.get
      • bigquery.datasets.create
      • bigquery.datasets.get
      • bigquery.tables.create
      • bigquery.tables.get

  • 对于结算项目，Looker 服务账号必须具有以下 IAM 角色：

如果 Looker (Google Cloud Core) 服务账号尚不具备必要的 IAM 角色，请在相应项目中授予角色时使用该服务账号的电子邮件地址。如需查找服务账号的电子邮件地址，请前往 Google Cloud 控制台中的 IAM 页面，然后选中包括 Google 提供的角色授予复选框。电子邮件的格式为 service-<project number>@gcp-sa-looker.iam.gserviceaccount.com。使用该电子邮件地址向服务账号授予适当的角色。

配置 BigQuery 快速入门连接

具有相应权限的用户可以从首页或管理面板中的连接页面查看和修改 BigQuery 快速入门连接。在连接页面上，BigQuery 快速入门连接会以 Default BigQuery Connection 的名称显示。在新实例中，存储项目 ID 和结算项目 ID 字段将默认设置为无。

在首页上，点击查看关联按钮以管理关联。您可以点击 x 或在探索边栏中切换 BigQuery 快速入门选项，以关闭首页页面上的相应功能块。

BigQuery 快速入门连接包含以下部分：

结算项目 ID

项目 ID 用作 Google Cloud 结算项目的唯一标识符。结算项目是指 Google Cloud 因 BigQuery 使用情况而产生费用的项目，但如果 LookML 开发者在 LookML 视图、Explore 或联接的 sql_table_name 参数中指定了完全限定的表名称，您仍然可以查询其他 Google Cloud 项目中的数据集。此字段是必填字段。

使用 OAuth 向 BigQuery 数据库进行身份验证：对于 BigQuery 连接，Looker (Google Cloud Core) 可以自动使用 Looker (Google Cloud Core) 管理员创建实例时使用的 OAuth 应用凭据。如需了解详情，请参阅为 Looker (Google Cloud Core) 实例创建 OAuth 授权凭据页面。

展开状态详情部分，测试连接的设置。

主数据集

主要数据集页面包含以下设置。

存储项目 ID

在存储项目 ID 字段中，输入您要连接的 BigQuery 数据集所在项目的项目 ID，即使该项目与 Looker (Google Cloud Core)实例所在的项目相同也是如此。此字段是必填字段。

主数据集

如果未在 SQL 查询文本中指定表的位置，则 BigQuery 将在主数据集中查找表。请注意，只要查询使用格式为 project_id.dataset_name.table_name 的全范围表名称，Looker (Google Cloud Core) 查询便可引用任何项目或数据集中的表。Looker（Google Cloud 核心版）服务账号还需要具有适当的 IAM 权限才能访问相应位置中的表。此字段是必填字段。

如需详细了解数据集，请参阅将 Looker 连接到 BigQuery 文档页面。

展开状态详情部分，测试连接的设置。

可选设置

可选设置部分包含以下选项：

  • 每个节点的连接数上限：同时允许的数据库连接数上限。注意：此项设置是以 Looker (Google Cloud Core) 部署中的每个节点为单位。该值必须介于 5 到 100 之间，最初可以保留默认值。如需详细了解此设置，请参阅将 Looker 连接到数据库文档页面中的每个节点的最大连接数部分。

  • 连接池超时时间：在连接池已满的情况下，查询在超时之前等待的秒数。最初可以保留默认值。如需详细了解此设置，请参阅将 Looker 连接到数据库文档页面中的连接池超时部分。

  • 其他 JDBC 参数：添加任何其他 JDBC 参数，例如 BigQuery 标签（如需了解详情，请参阅本页上的BigQuery 连接的作业标签和上下文注释部分）。

  • 维护时间表：Cron 表达式，用于指明数据组触发检查和 PDT 维护的最大频率。如需详细了解此设置，请参阅维护时间表文档。

  • SSL：选择是否要使用 SSL 加密来保护在 Looker (Google Cloud Core)和数据库之间传输的数据。SSL 只是可用于保护数据的一种选项；如需了解其他安全选项，请参阅启用安全的数据库访问文档页面。

  • 验证 SSL：选择是否需要验证连接所使用的 SSL 证书。如需详细了解此设置，请参阅将 Looker 连接到数据库文档页面中的验证 SSL 部分。

  • 预缓存表和列：在 SQL Runner 中，只要您选择连接和架构，系统就会立即预加载所有表信息。这样一来，您只需点击表名，SQL Runner 即可快速显示表列。不过，对于包含许多表或非常大的表的连接和架构，您可能不希望 SQL Runner 预加载所有信息。

  • 提取和缓存架构：对于某些 SQL 编写功能（例如汇总感知），Looker (Google Cloud Core)会使用数据库的信息架构来优化 SQL 编写。如需详细了解此设置，请参阅将 Looker 连接到数据库文档页面中的为 SQL 写入提取信息架构部分。

  • 启用 PDT：开启启用 PDT 开关以启用永久性派生表。启用 PDT 后，可选设置窗口会显示其他 PDT 字段和 PDT 覆盖部分。

  • 临时数据库：在 BigQuery 中输入 Looker (Google Cloud Core) 将在其中创建持久派生表的数据集。您应预先配置此数据集，并为其授予适当的写入权限。使用 PDT 时，此字段为必填字段。

  • PDT 构建器连接数上限：PDT 构建器连接数上限设置的默认值为 1，但可以设置为最高 10。不过，该值不能高于在每个节点的最大连接数中设置的值。如需详细了解此设置，请参阅将 Looker 连接到数据库文档页面中的“PDT 构建器连接数上限”部分。请谨慎设置此值。如果该值过高，可能会导致数据库过载。如果该值较低，长时间运行的 PDT 或汇总表可能会延迟其他持久表的创建，或减慢连接上的其他查询。

  • 重试失败的 PDT 构建：重试失败的 PDT 构建切换开关用于配置 Looker (Google Cloud 核心) 生成器尝试重新构建在上一个生成器周期中失败的触发器持久表的方式。如需详细了解此设置，请参阅将 Looker 连接到数据库文档页面中的重试失败的 PDT 构建部分。

  • PDT API 控制：PDT API 控制切换开关用于确定是否可将 start_pdt_build、check_pdt_build 和 stop_pdt_build API 调用用于此连接。当 PDT API 控制切换开关处于停用状态时，如果这些 API 调用引用了此连接上的 PDT，则会失败。

  • PDT 替换：如果您的数据库支持永久性派生表，并且您已在连接设置中开启启用 PDT 开关，Looker (Google Cloud Core) 会显示 PDT 替换部分。在 PDT 覆盖设置部分，您可以输入单独的专用于 PDT 进程的 JDBC 参数（主机、端口、数据库、用户名、密码、架构、其他参数和连接后语句）。如需详细了解此设置，请参阅将 Looker 连接到数据库文档页面中的 PDT 替换项部分。

  • 数据库时区：数据库用于存储基于时间的信息的时区。Looker (Google Cloud Core)需要了解这一点，以便为用户转换时间值，从而更轻松地理解和使用基于时间的数据。如需了解详情，请参阅使用时区设置文档页面。

  • 查询时区：只有在停用用户自选时区后，查询时区选项才会显示。如需了解详情，请参阅使用时区设置文档页面。

展开状态详情部分，测试连接的设置。

查看

在查看部分中，查看并修改您在之前部分中输入的连接详细信息。

展开状态详情部分，测试连接的设置。点击每个部分旁边的修改图标，即可返回相应部分来更改设置。

保存并测试连接

如需保存对 BigQuery 快速入门连接所做的任何更改，请点击保存。

您可以在 Looker (Google Cloud Core) 界面中的以下几个位置测试连接设置：

  • 展开任何快速入门连接页面底部的状态详情部分，然后点击测试连接。
  • 在首页中，展开“快速入门连接”功能块底部的状态详情部分，然后点击测试连接。
  • 在连接管理页面上，选择相应连接列表旁边的测试按钮，如连接文档页面中所述。

输入连接设置后，点击测试以验证信息是否正确以及数据库是否能够连接。

如果您的连接未通过一项或多项测试，请尝试以下问题排查方法：

后续步骤