Google BigQuery

概览

本页面介绍了如何在 Looker 中设置与 Google BigQuery 标准 SQL 或 Google BigQuery 旧版 SQL 的连接。

设置 Google BigQuery 标准 SQL 或 Google BigQuery 旧版 SQL 连接的一般步骤如下：

  1. 在您的 BigQuery 数据库中，配置 Looker 将用于访问 BigQuery 数据库的身份验证。Looker 支持以下 BigQuery 身份验证选项：

  2. 在 BigQuery 数据库中，如果您要在连接中使用永久性派生表 (PDT)，请创建一个临时数据集，供 Looker 用来在数据库中创建 PDT。请参阅本页面上的为永久性派生表创建临时数据集部分，了解过程。

  3. 在 Looker 中，设置 Looker 与 BigQuery 数据库的连接。如需了解相关过程，请参阅本页面中的将 Looker 连接到 BigQuery 部分。

  4. 在 Looker 中，测试 Looker 与 BigQuery 数据库之间的连接。如需了解具体操作过程，请参阅本页面中的测试连接部分。

加密网络流量

最佳实践是对 Looker 应用和数据库之间的网络流量进行加密。考虑启用安全的数据库访问文档页面中介绍的某个选项。

使用 BigQuery 服务帐号进行身份验证

Looker 可以使用 BigQuery 服务帐号进行身份验证并登录 BigQuery 数据库。您可以使用 Google Cloud 控制台中的 API 管理器在 BigQuery 数据库上创建服务帐号。您必须拥有 Google Cloud 管理员权限才能创建服务帐号。请参阅有关创建服务帐号和生成私钥的文档。

创建服务帐号并下载 JSON 凭据证书

如需创建 BigQuery 服务帐号，请按以下步骤操作：

  1. 在 Google Cloud 控制台的 API 管理器中打开凭据页面，然后选择您的项目。

  2. 选择创建凭据，然后选择服务帐号。

  3. 为新服务帐号输入名称，添加说明（可选），然后选择创建并继续。

  4. 您的服务帐号需要两个 Google BigQuery 预定义角色：

    • BigQuery > BigQuery Data Editor
    • BigQuery > BigQuery Job User

    在选择角色字段中选择第一个角色，选择添加其他角色，然后选择第二个角色。

    选择这两个角色后，选择继续，然后选择完成。

  5. 在凭据页面中，选择您的新服务帐号：

  6. 依次选择密钥和添加密钥，然后从下拉菜单中选择创建新密钥：

  7. 选择密钥类型下的 JSON，然后选择创建：

  8. JSON 密钥将保存到您的计算机。

    记下下载位置后，选择关闭：

  9. 选择完成。

  10. 查找与服务帐号对应的电子邮件地址。您需要使用此地址来配置 Looker 与 BigQuery 的连接：

  11. 在 BigQuery 数据库中创建服务帐号后，如果要设置 Looker 与 BigQuery 的连接，您需要在 Looker 的 Connections 窗口中的服务帐号电子邮件地址、服务帐号 JSON/P12 文件和密码字段输入此服务帐号信息和证书文件详情。

使用 OAuth 进行身份验证

Looker 支持 Google BigQuery 连接的 OAuth，这意味着每个 Looker 用户都使用自己的 Google OAuth 凭据在 Google 中进行身份验证，并授权 Looker 访问数据库。

OAuth 可让数据库管理员执行以下功能：

  • 审核哪些 Looker 用户正在对数据库运行查询。
  • 使用 Google 权限实施基于角色的访问控制。
  • 对访问 Google BigQuery 的所有进程和操作使用 OAuth 令牌，而不是在多个位置嵌入 BigQuery ID 和密码。

对于使用 OAuth 的 BigQuery 连接，请注意以下事项：

  • 如果数据库管理员更改了 BigQuery OAuth 客户端凭据，则用户拥有的所有时间表或提醒都会受到影响。如果管理员更改了 BigQuery OAuth 凭据，用户必须再次登录。用户也可以从用户个人资料帐号页面前往 Looker 帐号页面，登录 Google。
  • 由于使用 OAuth 的 BigQuery 连接是“针对用户的”，因此缓存政策也针对用户而非查询。这意味着，只有当同一用户在缓存期间运行相同查询时，Looker 才会使用缓存结果，而不会使用缓存的结果。如需详细了解缓存，请参阅缓存查询文档页面。
  • 如果您想在通过 OAuth 的 BigQuery 连接中使用永久性派生表 (PDT)，则必须另外创建一个服务帐号，以便 Looker 能访问您的数据库，从而执行 PDT 流程。如需了解相关信息，请参阅本页面中的 BigQuery 连接上的永久性派生表部分。
  • 当管理员以其他用户的身份运行 sudo 时，将使用该用户的 OAuth 授权令牌。如需了解如何使用 sudo 命令，请参阅用户文档页面。

为 OAuth 配置 BigQuery 数据库项目

以下部分介绍了如何生成 OAuth 凭据以及如何配置 OAuth 权限请求页面。如果您已为项目中的其他应用配置 OAuth 同意屏幕，则无需创建另一个同意屏幕，只需为项目中的所有应用配置一个同意屏幕即可。

您必须在 Google Cloud 控制台中配置 OAuth 凭据和 OAuth 同意屏幕。您可以在 Google Cloud 支持网站和 Google 开发者控制台网站上找到 Google 的通用说明。

根据在 Looker 中访问 BigQuery 数据的用户类型以及您的 BigQuery 数据是公开还是不公开，OAuth 可能不是最合适的身份验证方法。同样，用户在向 Google 验证身份以使用 Looker 时，请求用户提供的数据类型以及对用户数据的访问权限可能要求通过 Google 验证。如需详细了解验证，请参阅本页面中的生成 Google OAuth 凭据部分。

生成 Google OAuth 凭据

  1. 前往 Google Cloud 控制台。

  2. 在选择项目下拉列表中，前往您的 BigQuery 项目。系统应该会将您转到项目信息中心。

  3. 在左侧菜单中，选择 API 和服务页面。然后选择凭据。在凭据页面上，选择创建凭据按钮中的向下箭头，然后从下拉菜单中选择 OAuth 客户端 ID：

  4. 在生成 OAuth 凭据之前，Google 会要求您配置 OAuth 同意屏幕，以便用户选择如何授予对其私密数据的访问权限。如需配置 OAuth 权限请求页面，请参阅本页面中的配置 OAuth 权限请求页面部分。

  5. 如果您已配置 OAuth 同意屏幕，Google 会显示创建 OAuth 客户端 ID 页面，您可以在该页面中创建 OAuth 客户端 ID 和密钥，以便在 BigQuery 与 Looker 的连接中使用。从应用类型下拉菜单中，选择 Web 应用。页面将会展开，并显示更多选项：

  6. 在名称字段中，输入应用的名称，例如 Looker。

  7. 在已获授权的 JavaScript 来源部分中，选择 + 添加 URI，以显示 URI 1 字段。在 URI 1 字段中，输入 Looker 实例的网址，包括 https://。例如：

    • 如果 Looker 托管您的实例：https://<instancename>.looker.com
    • 如果您有客户托管的 Looker 实例：https://looker.<mycompany>.com
    • 如果您的 Looker 实例需要端口号：https://looker.<mycompany>.com:9999

  8. 在已获授权的重定向 URI 部分中，选择 + 添加 URI，以显示 URI 1 字段。在 URI 1 字段中，输入 Looker 实例的网址，后跟 /external_oauth/redirect。例如：https://<instancename>.looker.com/external_oauth/redirect 或 https://looker.<mycompany>.com:9999/external_oauth/redirect。

  9. 选择创建。Google 会显示您的客户端 ID 和客户端密钥。

  10. 复制您的客户端 ID 和客户端密钥值。您需要他们在 Looker 中为 BigQuery 连接配置 OAuth。

Google 要求您配置 OAuth 同意屏幕，以便用户选择如何授予对其私人数据的访问权限，并提供指向贵组织的服务条款和隐私权政策的链接。

在左侧菜单中，选择 OAuth 同意屏幕页面。配置 OAuth 权限请求页面之前，您必须先选择允许哪些类型的用户使用此应用。根据您的选择，您的应用可能需要通过 Google 验证。

选择所需的选项，然后选择创建。Google 会显示 OAuth 同意屏幕页面。您可以为项目中的所有应用（包括内部和公开应用）配置此屏幕。

如果出现以下任一情况，Google 将对公开应用执行验证：

  • 该应用使用受限或敏感范围的 Google API。
  • OAuth 同意屏幕包含一个应用徽标。
  • 此项目已超出网域阈值。

请按以下步骤配置 OAuth 权限请求页面：

  1. 在应用名称字段中，输入用户授予访问权限的应用的名称（在本例中为 Looker）。

  2. 在用户支持电子邮件地址字段中，输入用户遇到登录或同意问题时应联系的支持电子邮件地址。

  3. 选择添加网域以显示已获授权的网域 1 字段。在此字段中，输入 Looker 实例的网址域名。例如，如果 Looker 在 https://<instance_name>.cloud.looker.com 托管您的实例，则域名为 cloud.looker.com。对于客户托管的 Looker 部署，请输入您在其中托管 Looker 的网域。

  4. 在开发者联系信息部分，输入一个或多个电子邮件地址，以便 Google 就您的项目与您联系。

    其余字段为选填字段，但您可以使用这些字段进一步自定义同意屏幕。

  5. 选择保存并继续。

  6. Google 会显示范围页面，您可以在其中配置范围。Looker 仅需要默认范围，因此无需其他范围配置。选择保存并继续。

  7. 在摘要页面上，选择返回信息中心。

现在，您可以继续执行生成 OAuth 凭据的过程。

如需详细了解如何配置 Google OAuth 同意屏幕，请参阅 Google 支持文档。

使用 OAuth 为 BigQuery 配置 Looker 连接

如需为 BigQuery 连接启用 OAuth，请在设置 Looker 与 BigQuery 的连接时，选择 Looker 连接页面上的 OAuth 选项。启用 OAuth 选项后，Looker 会显示 OAuth Client ID 和 OAuth Client Secret 字段。粘贴您在本页面上的生成 Google OAuth 凭据过程中获取的客户端 ID 和客户端密钥值，作为一个步骤。

Looker 用户如何使用 OAuth 在 BigQuery 中进行身份验证

为 OAuth 设置 Looker 与 BigQuery 的连接后，用户可以通过执行以下操作之一，使用 Looker 对 BigQuery 数据库执行初始身份验证：

通过查询向 Google 进行身份验证

针对 OAuth 设置 Looker 与 BigQuery 的连接后，Looker 会提示用户使用其 Google 帐号登录，然后再运行使用 BigQuery 连接的查询。Looker 会显示来自“探索”功能、信息中心、Look 和 SQL Runner 的此提示。

用户必须选择登录并使用 OAuth 进行身份验证。用户通过身份验证进入 BigQuery 后，用户可以在“探索”中选择运行按钮，Looker 会将数据加载到“探索”中。

从用户帐号页面向 Google 进行身份验证

针对 OAuth 设置 Looker 与 BigQuery 的连接后，用户可以从 Looker 用户帐号页面中登录自己的 Google 帐号：

  1. 在 Looker 中，选择个人资料图标，然后从用户菜单中选择帐号。
  2. 转到 OAuth 连接凭据部分，然后选择相应的 BigQuery 数据库连接对应的登录按钮。
  3. 从使用 Google 账号登录页面选择相应的账号。
  4. 在 OAuth 同意屏幕上选择允许，以允许 Looker 查看和管理您在 Google BigQuery 中的数据。

通过 Looker 向 Google 进行身份验证后，您可以随时通过账号页面退出或重新授权您的凭据，如个性化您的用户帐号文档页面中所述。虽然 Google BigQuery 令牌没有过期，但用户可以选择重新授权，以便使用其他 Google 帐号登录。

撤消 OAuth 令牌

用户可以通过访问自己的 Google 账号设置来revoke从 Looker 等应用对 Google 账号的访问权限。

Google BigQuery 令牌不会过期；但是，如果数据库管理员更改了数据库连接的 OAuth 凭据，使现有凭据失效，则用户必须再次使用其 Google 帐号登录，然后才能运行使用该连接的任何查询。

BigQuery 连接上的永久性派生表

如果您希望为 BigQuery 连接使用永久性派生表 (PDT)，则可能需要执行以下操作，具体取决于您的连接配置：

  • 使用 Google Cloud 控制台在 BigQuery 数据库中创建一个临时数据集，供 Looker 用来编写 PDT。请参阅本页面上的为永久性派生表创建临时数据集部分，了解过程。对于 PDT，无论连接上还有其他配置选项为何，都必须执行此步骤。
  • 请使用 Google Cloud 控制台中的 API 管理器，为 Looker 的 PDT 流程创建单独的服务帐号。请参阅本页面中的创建服务帐号并下载 JSON 凭据证书部分，了解操作过程。连接的身份验证类型会影响是否需要 PDT 服务帐号，以及您在设置 Looker 与 BigQuery 的连接时在 Looker 的 Connections 窗口中输入 PDT 服务帐号信息的位置：
    • 如果您的连接使用 OAuth 进行用户身份验证，您必须为 PDT 流程创建单独的服务帐号。您需要在 Looker 的 Connections 窗口的 PDT Overrides 部分中输入服务帐号信息和证书文件详情。如果为某个连接开启了启用 PDT 切换开关，且该连接在身份验证字段中也配置了 OAuth 选项，则 Looker 的连接窗口会自动显示 PDT 覆盖部分。如需了解详情，请参阅使用 OAuth 为 Looker 与 BigQuery 的连接启用 PDT部分。
    • 如果您的连接使用服务帐号进行用户身份验证，您可以选择为 PDT 流程创建单独的服务帐号。如果您选择使用单独的 PDT 服务帐号，则需要在 Looker Connections 窗口的 Service Account Email、Service Account JSON/P12 File 和 Password 字段的 PDT Overrides 部分输入服务帐号信息。将启用 PDT 开关切换为使用服务帐号身份验证将 Looker 连接到 BigQuery 后，系统会显示 PDT 替换部分。

为永久性派生表创建临时数据集

如需为 BigQuery 连接启用永久性派生表 (PDT)，请在设置 Looker 与 BigQuery 的连接时，开启 Looker 连接页面上的启用 PDT 切换开关。启用 PDT 后，Looker 会显示 Temp 数据集字段。在此字段中，您需要输入 Looker 可用于创建 PDT 的数据集名称。您应提前配置此数据库或架构，并授予适当的写入权限。

您可以使用 Google Cloud 控制台设置临时数据集：

  1. 打开 Google Cloud 控制台，选择您的项目。

  2. 选择三点状菜单，然后选择创建数据集。

  3. 输入数据集 ID（通常为 looker_scratch），然后选择数据位置（可选）、默认表到期时间和加密密钥管理解决方案。选择创建数据集以完成操作。

创建数据集后，您可以在设置 Looker 与 BigQuery 的连接时，在 Looker 的 Connections 窗口的 Temp Dataset 字段中指定数据集的名称。

使用 OAuth 为 Looker 与 BigQuery 的连接启用 PDT

对于使用 OAuth 的 BigQuery 连接，您的用户使用其 OAuth 凭据在 Looker 中进行身份验证。Looker 支持将 BigQuery 与 OAuth 的连接使用 PDT，但 Looker 本身无法使用 OAuth，因此您必须专门设置一个 BigQuery 服务帐号，以允许 Looker 访问您的数据库以执行 PDT 流程。

您可以使用 Google Cloud API 管理器在 BigQuery 数据库上设置 PDT 服务帐号。请参阅本页面中的创建服务帐号并下载 JSON 凭据证书部分。

在 BigQuery 数据库中创建服务帐号后，在设置 Looker 与 BigQuery 的连接时，您需要在 Looker 连接窗口的 PDT 替换部分中输入服务帐号信息和证书文件详情。如果为某个连接开启了启用 PDT 切换开关，且该连接在身份验证字段中也配置了 OAuth 选项，则 Looker 的连接窗口会自动显示 PDT 覆盖部分。使用 PDT 替换部分中的以下字段，输入 Looker 可用于数据库中的 PDT 流程的服务帐号的信息：

  • 上传 p12 或 JSON：使用上传文件按钮，为要用于连接中的 PDT 流程的 BigQuery 服务帐号上传证书文件。您可以按照创建服务帐号并下载 JSON 凭据证书过程中的步骤，从 Google Cloud API 管理器获取此文件。
  • ：仅当您在 PDT 替换部分的上传 p12 或 JSON 字段中上传 P12 文件时，此字段才适用。输入您要用于连接 PDT 流程的 BigQuery 服务帐号的电子邮件地址。您可以按照创建服务帐号并下载 JSON 凭据证书中的步骤，通过 Google Cloud API 管理器获取此电子邮件地址。
  • ：仅当您在 PDT 覆盖部分的上传 p12 或 JSON 字段中上传 P12 文件时，此字段才适用。输入您要用于连接 PDT 进程的 BigQuery 服务帐号的 .p12 凭据文件的密码。

将 Looker 连接到 BigQuery

在 Looker 的管理部分中，选择连接以打开连接页面，然后执行以下操作之一：

  • 如需创建新的连接，请选择添加连接按钮。
  • 如需修改现有连接，请从 Databases 表中找到相应连接，然后在该连接的列表中选择 Edit 按钮。

填写连接详情。其中大多数设置是大多数数据库方言通用的，具体说明请参阅将 Looker 连接到数据库文档页面。下面的设置重点介绍了这些设置，或说明了它们如何专门应用于 BigQuery 连接：

  • 方言：选择 Google BigQuery 标准 SQL 或 Google BigQuery 旧版 SQL。

  • 结算项目 ID：Google Cloud 结算项目的名称。结算项目是计费的 Google Cloud 项目，但如果 LookML 开发者在 LookML 视图、探索或联接的 sql_table_name 参数中指定完全限定范围的表名称，您仍然可以查询其他 Google Cloud 项目中的数据集。对于 BigQuery，完全限定范围的表名称采用 <project_name>.<dataset_name>.<table_name> 格式。如果没有完全范围引用，BigQuery 将在结算项目和数据集内查找您在 Looker 的连接页面中指定的表，以便 BigQuery 连接到 Looker。如需了解 BigQuery 中资源层次结构的说明，请参阅 BigQuery 文档。

  • 您希望 Looker 在查询数据库时默认使用的数据集的名称。默认数据集必须位于为该连接指定的结算项目内；您不能在数据库字段中输入 project_name.dataset_name 等值才能指定其他项目中的数据集。

    如果 LookML 开发者在 LookML 视图、探索或联接的 sql_table_name 参数中指定完全限定范围的表名称，则 LookML 项目可以访问其他数据集中的表（包括公共数据集中的表）。对于 BigQuery，完全限定范围的表名称采用 <project_name>.<dataset_name>.<table_name> 格式。如需查询其他数据集中的表，该表必须可供服务帐号访问（针对使用服务帐号身份验证的连接）或运行查询的用户（针对使用 OAuth 身份验证的连接）。如果您的 LookML 代码未指定完全范围的表名称，则 BigQuery 将在您在 BiqQuery 连接的数据集字段中指定的数据集中搜索表。

    如果您的项目没有任何数据集（如果您在单独的项目中将计算和存储分开，就可能出现这种情况），您可以提供一个任意 Dataset 值，但必须始终在 LookML 中使用完全限定范围的表名称。

  • Authentication：Looker 用于访问数据库的身份验证类型，是服务账号或 OAuth：

    • 服务帐号：选择此选项可使用 BigQuery 服务帐号，以便 Looker 向您的数据库进行身份验证（如需了解详情，请参阅通过 BigQuery 服务帐号进行身份验证）。选择 Service Account 后，您会看到以下字段：
      • 上传服务 JSON 或 P12 文件：使用上传文件按钮为 BigQuery 服务帐号上传证书文件。您可以按照创建服务帐号并下载 JSON 凭据证书过程中的步骤，从 Google Cloud API 管理器获取此文件。
      • 服务帐号电子邮件地址：仅当您在上传服务 JSON 或 P12 文件字段中上传 P12 文件时，此字段才适用。输入 BigQuery 服务帐号的电子邮件地址（您可以按照创建服务帐号并下载 JSON 凭据证书过程中的步骤），从 Google Cloud API Manager 获取该地址。
      • ：BigQuery 服务帐号的 P12 凭据文件的密码。仅当您在上传服务 JSON 或 P12 文件字段中上传 P12 文件时，密码字段才适用。
    • OAuth：选择此选项后，每个 Looker 用户都可以向 Google BigQuery 进行身份验证，并授权 Looker 使用用户的 BigQuery 账号访问数据库。如需详细了解如何为 BigQuery 连接实现 OAuth，请参阅本页面中的使用 OAuth 进行身份验证部分。选择 OAuth 后，您会看到以下字段：

  • 启用 PDT：启用此切换开关即可允许在连接中使用永久性派生表 (PDT)。您需要在数据库中指定 Looker 将用于编写 PDT 的临时数据集。请参阅本页面上的为永久性派生表创建临时数据集部分，了解过程。 注意：如果您的连接配置了 OAuth，您需要使用 PDT 替换部分指定一个服务帐号，以供 Looker 用于对 BigQuery 连接执行 PDT 流程。如需了解详情，请参阅使用 OAuth 为 Looker 与 BigQuery 的连接启用 PDT部分。

  • 临时数据集：您在 Google Cloud 控制台中创建的 BigQuery 数据集，用于允许 Looker 将永久性派生表写入您的数据库。请参阅为永久性派生表创建临时数据集部分，了解过程。

  • 数据库时区：BigQuery 的默认时区是 UTC。您在此处指定的时区设置需要与您的 BigQuery 时区设置一致。如需了解详情，请参阅将 Looker 连接到数据库页面的数据库时区部分。

  • 查询时区：如需了解详情，请参阅将 Looker 连接到您的数据库页面的查询时区部分。

  • 其他 JDBC 参数：添加任何其他 JDBC 参数，例如 BigQuery 标签（如需了解详情，请参阅本页面上的 BigQuery 连接的作业标签和上下文注释部分）。以下是一些其他支持的参数：

    • connectTimeout：等待连接的毫秒数。默认值为 240,000。
    • readTimeout：等待读取的毫秒数。默认值为 240,000。
    • rootUrl：如果您在专用网络中具有 BigQuery 实例，请指定用于连接到 BigQuery（默认公共端点除外）的备用端点。

  • 结算 GB 数上限：使用 BigQuery 连接时，您需要按查询大小为每个查询付费。为了防止用户意外运行开销过高的查询，您可以设置允许用户在单个查询中拉取的最大千兆字节数。如果您不限制查询大小，可以将结算 GB 数上限字段留空。如需详细了解价格，请参阅 BigQuery 价格页面。

  • 每个节点的连接数上限：最初可以保留默认值。如需详细了解此设置，请参阅将 Looker 连接到您的数据库文档页面的每个节点的连接数上限部分。

  • 连接池超时：最初可以保留默认值。如需详细了解此设置，请参阅将 Looker 连接到数据库文档页面的连接池超时部分。

  • 停用上下文：此选项会停用 BigQuery 连接的上下文注释。默认情况下，Google BigQuery 连接的上下文注释处于停用状态，因为上下文注释会让 Google BigQuery 的缓存功能失效，并且可能会对缓存性能产生负面影响。关闭停用上下文切换开关即可为 BigQuery 连接启用上下文注释。如需了解详情，请参阅 BigQuery 连接的作业标签和上下文注释部分。

  • SQL Runner 预缓存：如果您不希望 SQL Runner 不预加载表信息而是仅在选择表时加载表信息，请清除此选项。如需了解详情，请参阅将 Looker 连接到数据库页面的 SQL Runner 预缓存部分。

填写连接的所有适用字段后，您可以根据需要测试连接。

如需保存这些设置，请点击连接。

测试连接

您可以在 Looker 界面中的以下几个位置测试连接设置：

  • 选择连接设置页面底部的测试按钮，如将 Looker 连接到数据库文档页面中所述。
  • 按照连接管理员页面上的连接列表选择测试按钮，如连接文档页面中所述。

对于新连接，如果 Looker 显示可以连接，然后选择添加连接。Looker 将运行其余连接测试，以验证服务帐号的设置是否正确，以及角色是否正确。

测试使用 OAuth 的连接

  1. 在 Looker 中，进入开发模式。
  2. 对于使用 OAuth 的现有 BigQuery 连接，请前往使用 BigQuery 连接的 Looker 项目的项目文件。对于使用 OAuth 的新 BigQuery 连接，请打开模型文件，将模型的 connection 值替换为新的 BigQuery 连接的名称，然后保存模型文件。
  3. 打开模型的一个探索或信息中心，然后运行查询。当您尝试运行查询时，Looker 会提示您使用自己的 Google 帐号登录。按照 Google OAuth 登录提示操作。

BigQuery 连接的作业标签和上下文注释

对于 BigQuery 连接，Looker 以 BigQuery 作业标签的形式发送查询上下文。默认情况下，Looker 会针对 BigQuery 连接发送以下上下文标签键：

  • looker-context-user_id：Looker 实例上每个用户的唯一标识符。您可以将此用户 ID 与管理菜单中用户页面上的用户 ID 进行匹配。

  • looker-context-history_slug：Looker 实例在数据库上运行的每个查询的唯一标识符。

  • looker-context-instance_slug：发出查询的 Looker 实例的 ID 编号。如有必要，Looker 支持团队可以使用此信息帮助您排查问题。

您可以使用连接页面的其他 JDBC 参数文本字段配置其他作业标签，以便 Looker 随 BigQuery 连接上的每个查询一起发送。在其他 JDBC 参数字段中，添加一个额外的 JDBC 参数 labels，并提供以英文逗号分隔的网址编码 key=value 对列表。例如，如果您在其他 JDBC 参数字段中添加了以下内容：

labels=this%3Dconnection-label,that%3Danother-connection-label

%3D 是 = 的网址编码，因此除了默认的 Looker 上下文标签之外，还会为 Looker 发送到 BigQuery 数据库的每个查询添加以下两个标签：

  • this：connection-label
  • that：another-connection-label

请注意，BigQuery 对作业标签设有限制：

  • 系统会忽略与上下文标签具有相同键的连接标签。
  • 如果连接标签和上下文标签的并集超过 64 个标签的数量上限，则首先丢弃上下文标签，然后丢弃连接标签，直到标签总数不超过 64 个。

Looker 可确保上下文标签符合 BigQuery 的所有标签有效性要求，但不会检查连接标签的有效性。配置无效的连接标签可能会导致查询失败。

Looker 默认发送的 BigQuery 作业标签（looker-context-user_id、looker-context-history_id 和 looker-context-instance_slug）与 Looker 为 SQL 查询附加的 SQL 上下文注释（用于 BigQuery 以外的数据库方言）相对应。对于 BigQuery 连接，上下文注释默认处于停用状态，因为它们会导致 BigQuery 的缓存功能失效，并且可能会对缓存性能产生负面影响。您可以为 BigQuery 连接启用上下文注释，只需关闭 BigQuery 连接的停用上下文切换开关即可。建议您保留停用上下文评论的默认设置，以便可以使用 BigQuery 的缓存。但是，如果您取消选择 BigQuery 连接的停用上下文注释选项，Looker 会将 SQL 上下文注释和 BigQuery 作业标签发送到您的数据库。

SQL 上下文注释和 BigQuery 作业标签传达相同的信息。例如，Looker 可能会为查询生成以下 SQL 上下文注释：

-- Looker Query Context

'{"user_id":1,"history_id":4757,"instance_slug":"ec2804ddef74c466f2a43e0afaa3ff6b"}'

然后，Looker 将为同一查询生成以下 BigQuery 作业标签：

[{"value":"1","key":"looker-context-user_id"},

 {"value":"4757","key":"looker-context-history_id"},

 {"value":"ec2804ddef74c466f2a43e0afaa3ff6b","key":"looker-context-instance_slug"}]

功能支持

为了让 Looker 支持某些功能，您的数据库方言也必须支持这些功能。

Google BigQuery 标准 SQL

从 Looker 24.6 开始，Google BigQuery 标准 SQL 支持以下功能：

特征 是否支持？
支持级别
受支持
Looker (Google Cloud Core)
是
对称聚合
是
派生表
是
永久性 SQL 派生表
是
永久性原生派生表
是
稳定版视图
是
查询终止
是
基于 SQL 的数据透视
是
时区
是
SSL
是
小计
是
JDBC 其他参数
是
区分大小写
是
位置类型
是
列表类型
是
百分位
是
非重复百分位
是
SQL Runner 显示进程
否
SQL Runner 描述表
否
SQL Runner 显示索引
否
SQL Runner 优选 10
是
SQL 运行程序数量
是
SQL 说明
否
OAuth 凭据
是
上下文注释
是
连接池
否
HLL 素描
是
总体认知度
是
递增 PDT
是
毫秒
是
微秒
是
具体化视图
是
近似计数不重复
是

Google BigQuery 旧版 SQL

从 Looker 24.6 开始，Google BigQuery 旧版 SQL 支持以下功能：

特征 是否支持？
支持级别
受支持
Looker (Google Cloud Core)
否
对称聚合
是
派生表
是
永久性 SQL 派生表
是
永久性原生派生表
是
稳定版视图
否
查询终止
是
基于 SQL 的数据透视
是
时区
否
SSL
是
小计
否
JDBC 其他参数
是
区分大小写
是
位置类型
是
列表类型
是
百分位
是
非重复百分位
是
SQL Runner 显示进程
否
SQL Runner 描述表
否
SQL Runner 显示索引
否
SQL Runner 优选 10
是
SQL 运行程序数量
是
SQL 说明
否
OAuth 凭据
是
上下文注释
是
连接池
否
HLL 素描
否
总体认知度
是
递增 PDT
否
毫秒
是
微秒
是
具体化视图
否
近似计数不重复
是

后续步骤

将数据库连接到 Looker 后，请为用户配置登录选项。