Looker 的 BigQuery 默认连接（Google Cloud 核心）

Looker (Google Cloud Core) 必须连接到数据库才能启用数据探索功能。您可以使用 BigQuery 快速入门连接创建可使用应用默认凭据的默认 BigQuery 连接。

首页上的 BigQuery 快速入门功能块。

准备工作

若要配置 BigQuery 快速入门连接，您需要具备以下权限。

Looker (Google Cloud Core) 权限

如果您拥有以下任一权限，则可以在 Looker (Google Cloud Core)实例的首页上查看和修改 BigQuery 快速入门连接页面：

BigQuery 权限

在您设置连接到 BigQuery 标准 SQL 数据库时，Looker (Google Cloud Core) 实例可以使用应用默认凭据 (ADC) 进行身份验证。使用 ADC 时，连接将使用 Looker (Google Cloud Core)项目的服务账号凭据向数据库进行身份验证。

如果 Looker (Google Cloud Core) 服务账号尚未在包含 BigQuery 数据集的项目中拥有 IAM 角色，那么若要向服务代理授予新的 IAM 角色，您需要能够按照以下步骤在 Google Cloud 控制台中修改 IAM 政策。

  1. 登录 Google Cloud 控制台，然后前往您想要授予新角色的项目。
  2. 复制主账号标识符，并将其作为主账号添加到 IAM 中。
  3. 为您添加的主账号分配以下两个角色：
    • Service Usage Consumer
    • BigQuery Jobs User

如果您的 Looker (Google Cloud Core)实例使用与 BigQuery 数据集关联的永久派生表，您还必须向 Looker (Google Cloud Core)服务账号授予 BigQuery Data Editor IAM 角色。

配置 BigQuery 快速入门连接

BigQuery 快速入门连接包含以下部分。

查看关联

具有正确权限的用户可以在“管理”控制台中的首页或关联页面查看和修改 BigQuery 快速入门连接。在连接页面上，BigQuery 快速入门连接显示在“默认 BigQuery 连接”名称下。在新实例中，存储分区项目 ID 和结算项目 ID 字段将默认设为 None。

在首页上，点击查看关联按钮以管理关联。您可以点击 x 或在“探索”边栏中切换 BigQuery 快速入门选项，关闭首页功能块。

BigQuery 快速入门连接包含以下部分。

结算项目 ID

项目 ID 是 Google Cloud 结算项目的唯一标识符。结算项目是指产生费用的 Google Cloud 项目，但如果您的 LookML 开发者在 LookML 视图、探索或联接的 sql_table_name 参数中指定了完全限定的表名称，您仍然可以在其他 Google Cloud 项目中查询数据集。此字段为必填字段。

使用 OAuth 对 BigQuery 数据库进行身份验证：对于 BigQuery 连接，Looker (Google Cloud Core) 可以自动使用 Looker (Google Cloud Core) 管理员创建实例时使用的 OAuth 应用凭据。如需了解详情，请参阅为 Looker (Google Cloud Core) 实例创建 OAuth 授权凭据页面。

展开状态详情部分，以测试连接的设置。

主数据集

主要数据集页面包含以下设置。

存储项目 ID

如果您使用的项目不是 Looker (Google Cloud Core)所在的 BigQuery 项目，请输入存储空间项目 ID。此字段为必填字段。

如需查找您的存储项目 ID，请按以下步骤操作：

  1. 打开 Google Cloud 控制台。
  2. 从项目列表中，选择全部。系统会显示您加入的所有项目的名称和 ID。
  3. 复制包含您要连接到 Looker (Google Cloud Core) 的数据的项目的 Storage 项目 ID。

主数据集

如果在 SQL 查询文本中未指定表的位置，则 BigQuery 将查找此主要数据集中的表。请注意，只要查询使用格式为 project_id.dataset_name.table_name 的全范围表名称，Looker (Google Cloud Core) 查询便可引用任何项目或数据集中的表。Looker (Google Cloud Core) Service Agent 还需要相应的 IAM 权限才能访问该位置的表。此字段为必填字段。

如需详细了解数据集，请参阅将 Looker 连接到 BigQuery 文档页面。

展开状态详情部分，以测试连接的设置。

可选设置

可选设置部分包含以下选项：

  • 每个节点的连接数上限：同时允许的数据库连接数上限。注意：此项设置是以 Looker (Google Cloud Core) 部署中的每个节点为单位。该值必须介于 5 到 100 之间，最初可以保留默认值。如需详细了解此设置，请参阅将 Looker 连接到数据库文档页面中的每个节点的最大连接数部分。

  • 连接池超时：在连接池已满的情况下，查询在超时之前等待的秒数。最初可以保留默认值。如需详细了解此设置，请参阅将 Looker 连接到数据库文档页面的连接池超时部分。

  • 其他 JDBC 参数：添加任何其他 JDBC 参数，例如 BigQuery 标签（如需了解详情，请参阅本页中的BigQuery 连接的作业标签和上下文注释部分）。

  • 维护时间表：Cron 表达式，用于指明数据组触发器检查和 PDT 维护的最大频率。如需详细了解此设置，请参阅数据组和 PDT 维护时间表文档。

  • SSL：选择是否要在 Looker (Google Cloud Core)和数据库之间传输数据时使用 SSL 加密来保护数据。SSL 只是可用于保护数据的选项之一；启用安全的数据库访问文档页面介绍了其他安全选项。

  • 验证 SSL：选择是否要求验证连接使用的 SSL 证书。如需详细了解此设置，请参阅将 Looker 连接到数据库文档页面的验证 SSL 部分。

  • 预缓存表和列：在 SQL Runner 中，您选择连接和架构后，系统会立即预加载所有表信息。这样一来，SQL Runner 便会在您点击表名称后立即快速显示表列。不过，对于包含许多表或包含非常大表的连接和架构，您可能不希望 SQL Runner 预加载所有信息。

  • 提取和缓存架构：对于一些 SQL 写入功能（例如汇总感知），Looker (Google Cloud Core)会使用数据库的信息架构来优化 SQL 写入。如需详细了解此设置，请参阅将 Looker 连接到数据库文档页面中的提取信息架构以进行 SQL 写入部分。

  • 启用 PDT：开启启用 PDT切换开关以启用永久性派生表。启用 PDT 后，可选设置窗口会显示其他 PDT 字段和 PDT 替换项部分。

  • 临时数据库：在 BigQuery 中输入数据集，Looker (Google Cloud Core)将在其中创建持久派生表。您应预先配置此数据集，并为其授予适当的写入权限。若要使用 PDT，此字段为必填字段。

  • PDT 构建器连接数上限：PDT 构建器连接数上限设置的默认值为 1，但可以设置为高达 10。不过，此值不能高于“每节点的最大连接数”中设置的值。如需详细了解此设置，请参阅将 Looker 连接到数据库文档页面中的 PDT 构建器连接数上限部分。请谨慎设置此值。如果该值过高，可能会导致数据库过载。如果此值较低，则长时间运行的 PDT 或汇总表可能会延迟创建其他永久表，或降低连接上的其他查询速度。

  • 重试失败的 PDT 构建：重试失败的 PDT 构建切换开关用于配置 Looker（Google Cloud 核心）重建程序尝试重建在上一个重建周期中失败的触发器持久化表的方式。如需详细了解此设置，请参阅将 Looker 连接到数据库文档页面的重试失败的 PDT 构建部分。

  • PDT API 控制：PDT API 控制切换开关用于确定能否对此连接使用 start_pdt_build、check_pdt_build 和 stop_pdt_build API 调用。停用 PDT API 控制切换开关后，当这些 API 调用引用此连接上的 PDT 时，将会失败。

  • PDT 替换项：如果您的数据库支持永久性派生表，并且您已在连接设置中开启启用 PDT 切换开关，Looker (Google Cloud Core) 会显示 PDT 替换项部分。在 PDT 替换项部分，您可以输入专用于 PDT 进程的单独 JDBC 参数（主机、端口、数据库、用户名、密码、架构、其他参数和连接后语句）。如需详细了解此设置，请参阅将 Looker 连接到数据库文档页面的 PDT 替换项部分。

  • 数据库时区：数据库用于存储基于时间的信息的时区。Looker (Google Cloud Core)需要知道这一点，以便为用户转换时间值，让用户更轻松地理解和使用基于时间的数据。如需了解详情，请参阅使用时区设置文档页面。

  • 查询时区：只有在您停用了用户自选时区的情况下，查询时区选项才会显示。如需了解详情，请参阅使用时区设置文档页面。

展开状态详情部分，以测试连接的设置。

审核

在查看部分中，查看并修改您在上一部分中输入的连接详情。

展开状态详情部分，以测试连接的设置。点击各个部分旁边的修改图标，即可返回相应部分更改设置。

保存并测试连接

点击保存按钮，保存对 BigQuery 快速入门连接所做的任何更改。

您可以在 Looker (Google Cloud Core) 界面的多个位置测试连接设置：

  • 展开任何“快速开始连接”页面底部的状态详情部分，然后点击测试连接。
  • 在首页上，展开“快速开始连接”功能块底部的状态详情部分，然后点击测试连接。
  • 在连接管理页面上，选择相应连接列表旁边的测试按钮，如连接文档页面中所述。

输入连接设置后，点击测试以验证信息是否正确，以及数据库是否能够连接。

如果您的连接未通过一项或多项测试，请尝试以下问题排查方法：

后续步骤