Google BigQuery

概览

本页面介绍了如何在 Looker 中设置与 Google BigQuery 标准 SQL 或 Google BigQuery 旧版 SQL 的连接。

设置 Google BigQuery 标准 SQL 或 Google BigQuery 旧版 SQL 连接的常规步骤如下:

  1. 在您的 BigQuery 数据库中,配置 Looker 将用于访问 BigQuery 数据库的身份验证。Looker 支持以下 BigQuery 身份验证选项:

  2. 在 BigQuery 数据库上,如果您想要在连接中使用永久性派生表 (PDT),请创建一个临时数据集,Looker 可以使用该数据集在数据库中创建 PDT。如需了解该过程,请参阅本页面中的为永久性派生表创建临时数据集部分。

  3. 在 Looker 中,设置 Looker 与 BigQuery 数据库的连接。如需了解此过程,请参阅本页面上的将 Looker 连接到 BigQuery 部分。

  4. 在 Looker 中,测试 Looker 与 BigQuery 数据库之间的连接。如需了解此过程,请参阅此页面上的测试连接部分。

对网络流量进行加密

最佳做法是对 Looker 应用和数据库之间的网络流量进行加密。请考虑启用安全的数据库访问文档页面中所述的选项之一。

使用 BigQuery 服务帐号进行身份验证

Looker 可通过 BigQuery 服务帐号向 BigQuery 数据库进行身份验证。您可以使用 Google Cloud 控制台中的 API 管理器在 BigQuery 数据库上创建服务帐号。您必须拥有 Google Cloud 管理员权限才能创建服务帐号。请参阅有关创建服务帐号生成私钥的文档。

创建服务帐号并下载 JSON 凭据证书

如需创建 BigQuery 服务帐号,请按以下步骤操作:

  1. Google Cloud 控制台的 API 管理器中打开凭据页面,然后选择您的项目。

  2. 选择创建凭据,然后选择服务帐号

  3. 输入新服务帐号的名称,(可选)添加说明,然后选择创建并继续

  4. 您的服务帐号需要两个 Google BigQuery 预定义角色

    • BigQuery > BigQuery 数据编辑者
    • BigQuery > BigQuery 作业用户

    选择角色字段中选择第一个角色,选择添加其他角色,然后选择第二个角色。

    选择这两个角色后,选择继续,然后选择完成

  5. 凭据页面中,选择新的服务帐号:

  6. 依次选择密钥添加密钥,然后从下拉菜单中选择创建新密钥

  7. 选择密钥类型下的 JSON,然后选择创建

  8. JSON 密钥将保存到您的计算机。

    记下下载位置后,选择关闭

  9. 选择完成

  10. 查找与服务帐号对应的电子邮件地址。您需要使用此地址来配置 Looker 与 BigQuery 的连接:

  11. 在 BigQuery 数据库上创建服务帐号后,您需要在设置 Looker 与 BigQuery 的连接时,在 Looker 连接窗口的服务账号电子邮件地址服务账号 JSON/P12 文件密码字段中输入此服务账号信息和证书文件详细信息。

使用 OAuth 进行身份验证

Looker 支持使用 OAuth 建立 Google BigQuery 连接,这意味着每个 Looker 用户都会使用自己的 Google OAuth 凭据登录 Google,并授权 Looker 访问数据库。

OAuth 允许数据库管理员执行以下功能:

  • 审核哪些 Looker 用户正在对数据库运行查询。
  • 使用 Google 权限实施基于角色的访问权限控制。
  • 为访问 Google BigQuery 的所有进程和操作使用 OAuth 令牌,而不是在多个位置嵌入 BigQuery ID 和密码。

对于使用 OAuth 的 BigQuery 连接,请注意以下几点:

  • 如果数据库管理员更改了 BigQuery OAuth 客户端凭据,用户拥有的任何时间表或提醒都会受到影响。如果用户的管理员更改了 BigQuery OAuth 凭据,用户必须重新登录。用户还可以从用户个人资料账号页面前往自己的 Looker 账号页面,然后登录 Google。
  • 由于使用 OAuth 的 BigQuery 连接是“每个用户”的,因此缓存政策也基于用户,而不仅仅是每个查询。这意味着,当在缓存期内运行同一查询时,Looker 不会使用缓存的结果,而是仅当同一用户在缓存期间运行同一查询时才使用缓存的结果。如需详细了解缓存,请参阅缓存查询文档页面。
  • 如果您想通过 OAuth 通过 BigQuery 连接使用永久性派生表 (PDT),则必须再创建一个服务帐号,以便 Looker 访问您的数据库以进行 PDT 流程。如需了解相关信息,请参阅本页面上的 BigQuery 连接上的永久性派生表部分。
  • 当管理员以另一用户的身份执行 sudo 操作时,将使用该用户的 OAuth 授权令牌。如需了解如何使用 sudo 命令,请参阅用户文档页面。

针对 OAuth 配置 BigQuery 数据库项目

下面几部分介绍了如何生成 OAuth 凭据以及如何配置 OAuth 权限请求页面。如果您已经为项目中的其他应用配置了 OAuth 同意屏幕,则无需另外创建。只需为项目中的所有应用配置一个同意屏幕即可。

必须在 Google Cloud 控制台中配置 OAuth 凭据和 OAuth 权限请求页面。您可以在 Google Cloud 支持网站和 Google 开发者控制台网站上找到 Google 通用说明。

根据在 Looker 中访问 BigQuery 数据的用户类型,以及您的 BigQuery 数据是公开还是不公开,OAuth 可能不是最合适的身份验证方法。同样,当用户向 Google 验证身份以使用 Looker 时,用户请求的数据类型以及对用户数据所需的访问权限级别可能需要 Google 进行验证。如需详细了解验证,请参阅本页中的生成 Google OAuth 凭据部分。

生成 Google OAuth 凭据

  1. 前往 Google Cloud 控制台

  2. 选择项目下拉列表中,转到您的 BigQuery 项目。系统应该会将您转到项目信息中心。

  3. 在左侧菜单中,选择 API 和服务页面。然后选择凭据。在凭据页面上,选择创建凭据按钮中的向下箭头,然后从下拉菜单中选择 OAuth 客户端 ID

  4. Google 要求您先配置 OAuth 同意屏幕,以便让您的用户选择如何授予对其私有数据的访问权限,然后您才能生成 OAuth 凭据。要配置 OAuth 权限请求页面,请参阅本页面中的配置 OAuth 权限请求页面部分。

  5. 如果您已配置 OAuth 同意屏幕,Google 会显示创建 OAuth 客户端 ID 页面,您可以在该页面创建 OAuth 客户端 ID 和密钥,以用于与 Looker 的 BigQuery 连接。从应用类型下拉菜单中,选择网页应用。该页面将展开并显示其他选项:

  6. Name(名称)字段中,输入应用的名称,例如 Looker。

  7. 已获授权的 JavaScript 来源部分中,选择 + 添加 URI 以显示 URIs 1 字段。在 URIs 1 字段中,输入 Looker 实例的网址,包括 https://。例如:

    • 如果 Looker 托管您的实例:https://<instancename>.looker.com
    • 如果您有客户托管的 Looker 实例:https://looker.<mycompany>.com
    • 如果您的 Looker 实例需要端口号:https://looker.<mycompany>.com:9999
  8. 已获授权的重定向 URI 部分中,选择 + 添加 URI 以显示 URI 1 字段。在 URIs 1 字段中,输入 Looker 实例的网址,后跟 /external_oauth/redirect。例如:https://<instancename>.looker.com/external_oauth/redirecthttps://looker.<mycompany>.com:9999/external_oauth/redirect

  9. 选择创建。Google 会显示您的客户端 ID客户端密钥

  10. 复制您的客户端 ID 和客户端密钥值。您需要他们在 Looker 中为 BigQuery 连接配置 OAuth

Google 要求您配置 OAuth 同意屏幕,以便用户选择如何授予对其私有数据的访问权限,并提供指向贵组织的服务条款和隐私权政策的链接。

在左侧菜单中,选择 OAuth 同意屏幕页面。在配置 OAuth 权限请求页面之前,您必须选择要向其提供此应用的用户的类型。根据您的选择,您的应用可能需要接受 Google 验证

进行选择,然后选择创建。Google 会显示 OAuth 同意屏幕页面。您可以为项目中的所有应用配置此屏幕,包括内部应用和公开应用。

如果满足以下任一条件,Google 将对公开应用进行验证:

  • 应用使用的 Google API 采用了受限范围或敏感范围。
  • OAuth 同意屏幕包含一个应用徽标。
  • 项目已超出网域阈值。

要配置 OAuth 权限请求页面,请执行以下操作:

  1. 应用名称字段中,输入用户要授予访问权限的应用的名称(在本例中为 Looker)。

  2. 用户支持电子邮件地址字段中,输入用户遇到登录或意见征求问题时应联系的支持电子邮件地址。

  3. 选择添加网域,系统会显示已获授权的网域 1 字段。在此字段中,输入 Looker 实例网址的域名。例如,如果 Looker 将您的实例托管在 https://<instance_name>.cloud.looker.com 上,则网域为 cloud.looker.com。对于客户托管的 Looker 部署,请输入您在其中托管 Looker 的网域。

  4. 开发者联系信息部分,输入一个或多个电子邮件地址,以便 Google 就您的项目与您联系。

    其余字段是可选的,但您可以使用它们进一步自定义同意屏幕。

  5. 选择保存并继续

  6. Google 会显示范围页面,您可以在其中配置范围。Looker 只需要默认范围,因此不需要额外的范围配置。选择保存并继续

  7. 摘要页面上,选择返回信息中心

现在,您可以继续生成 OAuth 凭据

如需详细了解如何配置 Google OAuth 同意屏幕,请参阅 Google 支持文档。

使用 OAuth 为 BigQuery 配置 Looker 连接

如需为您的 BigQuery 连接启用 OAuth,请在设置 Looker 与 BigQuery 的连接时,在 Looker 连接页面上选择 OAuth 选项。启用 OAuth 选项后,Looker 会显示 OAuth 客户端 IDOAuth 客户端密钥字段。粘贴您在本页面的“生成 Google OAuth 凭据”步骤中获取的客户端 ID客户端密钥值。

Looker 用户如何使用 OAuth 在 BigQuery 中进行身份验证

针对 OAuth 设置 Looker 与 BigQuery 的连接后,用户可以使用 Looker 对 BigQuery 数据库执行初始身份验证,具体方法如下:

通过查询向 Google 进行身份验证

通过 OAuth 设置 Looker 与 BigQuery 的连接后,Looker 会在运行使用 BigQuery 连接的查询之前提示用户使用 Google 账号登录。Looker 会在“探索”“信息中心”“Looker”和“SQL Runner”中显示此提示。

用户必须选择登录并使用 OAuth 进行身份验证。用户在 BigQuery 中进行身份验证后,可以在“探索”中选择运行按钮,Looker 会将数据加载到“探索”中。

从用户帐号页面向 Google 进行身份验证

针对 OAuth 设置 Looker 与 BigQuery 的连接后,用户可以通过 Looker 用户帐号页面对其 Google 账号进行身份验证:

  1. 在 Looker 中,选择个人资料图标,然后从用户菜单中选择账号
  2. 前往 OAuth 连接凭据部分,然后选择相应的 BigQuery 数据库连接对应的登录按钮。
  3. 使用 Google 账号登录页面上选择相应的账号。
  4. 在 OAuth 同意屏幕上选择允许,以允许 Looker 查看和管理您在 Google BigQuery 中的数据。

通过 Looker 登录 Google 后,您可以随时通过账号页面退出或重新授权凭据,如个性化您的用户账号文档页面中所述。尽管 Google BigQuery 令牌不会过期,但用户可选择重新授权,以使用其他 Google 账号登录。

撤消 OAuth 令牌

用户可以访问自己的 Google 账号设置,在其中revoke对 Google 账号的访问权限。

Google BigQuery 令牌不会过期;但是,如果数据库管理员更改了数据库连接的 OAuth 凭据,使现有凭据失效,则用户必须先使用自己的 Google 帐号重新登录,然后才能运行使用该连接的任何查询。

BigQuery 连接中的永久性派生表

如果要为 BigQuery 连接使用永久性派生表 (PDT),您可能需要执行以下操作,具体取决于您的连接配置:

  • 使用 Google Cloud 控制台在 BigQuery 数据库中创建一个临时数据集,供 Looker 用于写入 PDT。如需了解该过程,请参阅本页面上的为永久性派生表创建临时数据集部分。无论连接的其他配置选项如何,PDT 都必须执行此步骤。
  • 使用 Google Cloud 控制台中的 API 管理器,为 Looker 的 PDT 进程创建单独的服务帐号。如需了解此过程,请参阅本页面中的创建服务帐号并下载 JSON 凭据证书部分。连接上的身份验证类型会影响是否需要 PDT 服务帐号,以及您在设置 Looker 与 BigQuery 的连接时在 Looker 连接窗口中输入 PDT 服务帐号信息的位置:
    • 如果您的连接使用 OAuth 进行用户身份验证,您必须为 PDT 流程创建单独的服务帐号。您需要在 Looker 连接窗口的 PDT 覆盖部分输入服务帐号信息和证书文件的详细信息。如果您为连接还配置了 Authentication 字段中的 OAuth 选项,并且为该连接开启了启用 PDT 切换开关,则 Looker 的连接窗口会自动显示 PDT 覆盖部分。如需了解详情,请参阅使用 OAuth 为 Looker 与 BigQuery 的连接启用 PDT 部分。
    • 如果您的连接使用服务账号进行用户身份验证,您可以选择为 PDT 流程创建单独的服务帐号。如果您选择使用单独的 PDT 服务帐号,则需要在 Looker 连接窗口的服务账号电子邮件地址服务账号 JSON/P12 文件密码字段的 PDT 替换部分输入服务帐号信息。为使用服务帐号身份验证的 Looker 与 BigQuery 连接开启启用 PDT 切换开关后,系统会显示 PDT 覆盖部分。

为永久性派生表创建临时数据集

如需为 BigQuery 连接启用永久性派生表 (PDT),请在设置与 BigQuery 的 Looker 连接时,打开 Looker 连接页面上的启用 PDT 切换开关。启用 PDT 后,Looker 会显示临时数据集字段。在此字段中,您需要输入可供 Looker 用于创建 PDT 的数据集名称。您应该提前配置此数据库或架构,并使用适当的写入权限。

您可以使用 Google Cloud 控制台设置临时数据集:

  1. 打开 Google Cloud 控制台,然后选择您的项目。

  2. 选择三点状菜单,然后选择创建数据集

  3. 输入数据集 ID(通常为 looker_scratch),然后选择数据位置(可选)、默认表到期时间和加密密钥管理解决方案。选择创建数据集完成操作。

创建数据集后,当您设置与 BigQuery 的 Looker 连接时,可以在 Looker 连接窗口的临时数据集字段中指定数据集的名称。

使用 OAuth 为 Looker 与 BigQuery 的连接启用 PDT

对于使用 OAuth 的 BigQuery 连接,您的用户使用其 OAuth 凭据向 Looker 进行身份验证。Looker 支持通过 OAuth 建立 BigQuery 连接的 PDT,但 Looker 本身无法使用 OAuth,因此您必须专门设置一个 BigQuery 服务帐号,以允许 Looker 访问您的数据库以进行 PDT 流程。

您可以使用 Google Cloud API 管理器在 BigQuery 数据库上设置 PDT 服务帐号。请参阅本页面中的创建服务帐号并下载 JSON 凭据证书部分。

在 BigQuery 数据库上创建服务帐号后,您需要在设置 Looker 与 BigQuery 的连接时,在 Looker 连接窗口的 PDT 替换部分输入服务帐号信息和证书文件详细信息。如果您为连接还配置了 Authentication 字段中的 OAuth 选项,并且为该连接开启了启用 PDT 切换开关,则 Looker 的连接窗口会自动显示 PDT 覆盖部分。使用 PDT 替换部分中的以下字段,输入服务帐号的信息,以便 Looker 将其用于数据库上的 PDT 流程:

  • 上传 p12 或 json:使用上传文件按钮,上传您要在连接上用于 PDT 进程的 BigQuery 服务帐号的证书文件。作为创建服务帐号和下载 JSON 凭据证书过程中的一个步骤,您可以从 Google Cloud API 管理器获取此文件。
  • :仅当您在 PDT 替换部分的 Upload p12 or json 字段中上传 P12 文件时,此字段才适用。输入您要用于连接上的 PDT 流程的 BigQuery 服务帐号的电子邮件地址。作为创建服务帐号和下载 JSON 凭据证书过程中的一个步骤,您可以从 Google Cloud API 管理器获取此电子邮件地址。
  • :仅当您在 PDT 替换部分的上传 p12 或 json 字段中上传 P12 文件时,此字段才适用。输入要用于连接上的 PDT 进程的 BigQuery 服务帐号的 .p12 凭据文件的密码。

将 Looker 连接到 BigQuery

在 Looker 的管理部分中,选择连接以打开连接页面,然后执行以下操作之一:

  • 如需创建新连接,请选择添加连接按钮。
  • 要修改现有连接,请从数据库表中找到相应连接,然后选择连接列表中的修改按钮。

填写连接详情。其中大多数设置对于大多数数据库方言都是通用的,请参阅将 Looker 连接到数据库文档页面。提及以下设置是为了突出显示这些设置,或阐明这些设置如何专门应用于 BigQuery 连接:

  • 方言:选择 Google BigQuery 标准 SQLGoogle BigQuery 旧版 SQL

  • 结算项目 IDGoogle Cloud 结算项目的名称。结算项目是需要付费的 Google Cloud 项目,不过,如果您的 LookML 开发者在 LookML 视图探索联接sql_table_name 参数中指定了完全限定范围的表名称,则您仍然可以查询其他 Google Cloud 项目中的数据集。对于 BigQuery,完全限定范围的表名称采用 <project_name>.<dataset_name>.<table_name> 格式。如果没有完全限定范围的引用,BigQuery 会在您在 Looker 连接页面指定的结算项目和数据集中查找 BigQuery 与 Looker 的连接。有关 BigQuery 中资源层次结构的说明,请参阅 BigQuery 文档

  • 您希望 Looker 在查询数据库时默认使用的数据集的名称。默认数据集必须位于为连接指定的结算项目内;您不能在数据库字段中输入 project_name.dataset_name 等值来指定其他项目中的数据集。

    如果您的 LookML 开发者在 LookML 视图探索联接sql_table_name 参数中指定完整范围的表名称,您的 LookML 项目便可以访问其他数据集中的表(包括公共数据集中的表)。对于 BigQuery,完全限定范围的表名称采用 <project_name>.<dataset_name>.<table_name> 格式。如需查询其他数据集中的表,必须有服务帐号(适用于使用服务账号身份验证的连接)或运行查询的用户(适用于使用 OAuth 身份验证的连接)访问该表。如果您的 LookML 代码未指定完整范围的表名称,BigQuery 将在您在 BiqQuery 连接的数据集字段中指定的数据集中搜索表。

    如果您的项目没有任何数据集(如果您在单独的项目中将计算和存储分隔开来,就可能会出现这种情况),您可以提供任意 Dataset 值,但必须始终在 LookML 中使用完全限定范围的表名称。

  • Authentication:Looker 将用于访问数据库的身份验证类型(服务帐号OAuth):

    • 服务账号:选择此选项可使用 BigQuery 服务帐号,以便 Looker 向您的数据库进行身份验证(如需了解详情,请参阅使用 BigQuery 服务账号进行身份验证)。选择服务账号后,您会看到以下字段:
    • OAuth:选择此选项可让每个 Looker 用户向 Google BigQuery 进行身份验证,并授权 Looker 使用用户的 BigQuery 账号访问数据库。如需详细了解如何为 BigQuery 连接实现 OAuth,请参阅本页中的通过 OAuth 进行身份验证部分。选择 OAuth 后,您会看到以下字段:
      • OAuth 客户端 ID:OAuth 客户端 ID。您可以从 Google Cloud 控制台获取此信息,这是生成 Google OAuth 凭据过程中的一个步骤。
      • OAuth 客户端密钥:OAuth 客户端密钥。您可以从 Google Cloud 控制台获取此信息,这是生成 Google OAuth 凭据过程中的一个步骤。
  • Enable PDT:将此切换开关上的滑块滑至开启位置,以允许在连接中使用永久性派生表 (PDT)。您需要在数据库中指定 Looker 将用于写入 PDT 的临时数据集。如需了解该过程,请参阅本页面上的为永久性派生表创建临时数据集部分。注意:如果您的连接配置为 OAuth,您需要使用 PDT 覆盖部分来指定 Looker 可在 BigQuery 连接上用于 PDT 流程的服务帐号。如需了解详情,请参阅使用 OAuth 为 Looker 与 BigQuery 的连接启用 PDT 部分。

  • 临时数据集:您在 Google Cloud 控制台中创建的 BigQuery 数据集,用于允许 Looker 向您的数据库写入永久性派生表。请参阅为永久性派生表创建临时数据集部分,了解具体操作。

  • 数据库时区:BigQuery 的默认时区是世界协调时间 (UTC)。您在此处指定的时区设置需要与 BigQuery 时区设置一致。如需了解详情,请参阅将 Looker 连接到您的数据库页面的数据库时区部分。

  • 查询时区:如需了解详情,请参阅将 Looker 连接到数据库页面的查询时区部分。

  • 其他 JDBC 参数:添加任何其他 JDBC 参数,例如 BigQuery 标签(如需了解详情,请参阅本页面的 BigQuery 连接的作业标签和上下文注释部分)。以下是其他一些受支持的参数:

    • connectTimeout:等待连接的毫秒数。默认值为 240000。
    • readTimeout:等待读取操作的毫秒数。默认值为 240000。
    • rootUrl:如果您的 BigQuery 实例位于专用网络中,请指定用于连接到 BigQuery 的备用端点,而不是默认公共端点。
  • 结算千兆字节 (GB):在 BigQuery 连接中,您需要根据每个查询的大小付费。为了防止用户意外运行成本过高的查询,您可以设置允许用户在单个查询中拉取的千兆字节数上限。如果您没有限制查询大小,则可以将 Max Billing GB(最大结算 GB)字段留空。如需详细了解价格,请参阅 BigQuery 价格页面

  • 每个节点的连接数上限:初始值可以保留为默认值。如需详细了解此设置,请参阅将 Looker 连接到数据库文档页面的每个节点的连接数上限部分。

  • 连接池超时:初始值可以保留为默认值。如需详细了解此设置,请参阅将 Looker 连接到数据库文档页面的连接池超时部分。

  • 停用上下文:此选项可对 BigQuery 连接停用上下文注释。默认情况下,针对 Google BigQuery 连接的上下文注释处于停用状态,因为上下文注释会导致 Google BigQuery 的缓存能力失效,并且可能会对缓存性能产生负面影响。关闭停用上下文切换开关,即可为 BigQuery 连接启用上下文注释。如需了解详情,请参阅 BigQuery 连接的作业标签和上下文备注部分。

  • SQL Runner 预缓存:如果您不希望 SQL Runner 预加载表信息,而是仅在选择表时加载表信息,请清除此选项。如需了解详情,请参阅将 Looker 连接到您的数据库页面的 SQL Runner 预缓存部分。

填写完连接的所有适用字段后,即可根据需要测试连接

要保存这些设置,请点击连接

测试连接

您可以在 Looker 界面中的几个位置测试连接设置:

  • 按照将 Looker 连接到您的数据库文档页面,选择连接设置页面底部的测试按钮。
  • 连接管理页面上的连接列表旁,选择测试按钮,如连接文档页面中所述。

对于新连接,如果 Looker 显示可以连接,请选择添加连接。Looker 将运行其余的连接测试,以验证服务帐号是否已正确设置且角色是否正确。

测试使用 OAuth 的连接

  1. 在 Looker 中,进入开发模式
  2. 对于使用 OAuth 的现有 BigQuery 连接,请前往使用 BigQuery 连接的 Looker 项目的项目文件。对于使用 OAuth 的新 BigQuery 连接,请打开模型文件,并将模型的 connection 值替换为新的 BigQuery 连接的名称,然后保存模型文件。
  3. 打开模型的一个探索或信息中心,然后运行查询。当您尝试运行查询时,Looker 会提示您使用 Google 账号登录。按照 Google OAuth 登录提示操作。

BigQuery 连接的作业标签和上下文注释

对于 BigQuery 连接,Looker 会以 BigQuery 作业标签的形式发送查询上下文。默认情况下,Looker 会为 BigQuery 连接发送以下上下文标签键:

  • looker-context-user_id:Looker 实例上每个用户的唯一标识符。您可以将此用户 ID 与管理菜单中的用户页面上的 User-ID 进行匹配。
  • looker-context-history_slug:Looker 实例在数据库上运行的每个查询的唯一标识符。

  • looker-context-instance_slug:发出查询的 Looker 实例的 ID 编号。如有必要,Looker 支持团队可以使用此信息来帮助您排查问题。

您可以使用连接页面的其他 JDBC 参数文本字段,为 Looker 针对 BigQuery 连接的每个查询发送其他作业标签。在其他 JDBC 参数字段中,添加其他 JDBC 参数 labels,并提供以英文逗号分隔的网址编码 key=value 对列表。例如,如果在其他 JDBC 参数字段中添加此参数:

labels=this%3Dconnection-label,that%3Danother-connection-label

%3D= 的网址编码,因此除了默认的 Looker 上下文标签之外,这样还会向 Looker 发送到 BigQuery 数据库的每个查询添加以下两个标签:

  • thisconnection-label
  • thatanother-connection-label

请注意,BigQuery 有作业标签限制

  • 任何与上下文标签具有相同键的连接标签都将被忽略。
  • 如果连接标签和上下文标签的并集超出总共 64 个标签的上限,则首先丢弃上下文标签,然后是连接标签,直到标签的总数不超过 64 个。

Looker 可确保上下文标签符合 BigQuery 的所有标签有效性要求,但不会检查连接标签的有效性。配置无效的连接标签可能会导致查询失败。

Looker 默认发送的 BigQuery 作业标签(looker-context-user_idlooker-context-history_idlooker-context-instance_slug)对应于 Looker 为 BigQuery 以外的数据库方言的 SQL 查询附加的 SQL 上下文注释。对于 BigQuery 连接,上下文注释默认处于停用状态,因为它们会导致 BigQuery 的缓存功能失效,并且可能会对缓存性能产生负面影响。您可以关闭 BigQuery 连接的停用上下文切换开关,为 BigQuery 连接启用上下文注释。我们建议您保留 Disable Context Comment 的默认设置,以便能够使用 BigQuery 的缓存。但是,如果您为 BigQuery 连接取消选择停用上下文注释选项,Looker 会向您的数据库发送 SQL 上下文注释和 BigQuery 作业标签。

SQL 上下文注释和 BigQuery 作业标签传达的信息是相同的。例如,Looker 可能会为查询生成以下 SQL 上下文注释:

-- Looker Query Context

'{"user_id":1,"history_id":4757,"instance_slug":"ec2804ddef74c466f2a43e0afaa3ff6b"}'

然后,Looker 会为同一查询生成以下 BigQuery 作业标签:

[{"value":"1","key":"looker-context-user_id"},

 {"value":"4757","key":"looker-context-history_id"},

 {"value":"ec2804ddef74c466f2a43e0afaa3ff6b","key":"looker-context-instance_slug"}]

功能支持

要让 Looker 支持某些功能,您的数据库方言也必须支持这些功能。

Google BigQuery 标准 SQL

从 Looker 24.10 开始,Google BigQuery 标准 SQL 支持以下功能:

特征 是否支持?
支持级别
受支持
Looker (Google Cloud Core)
对称汇总
派生表
永久性 SQL 派生表
永久性原生派生表
稳定视图
终止查询
基于 SQL 的数据透视
时区
SSL
小计
JDBC 其他参数
区分大小写
位置类型
名单类型
百分位
不同百分位
SQL Runner 显示进程
SQL Runner 描述表
SQL Runner 显示索引
SQL Runner 选择 10
SQL 运行程序数量
SQL 说明
OAuth 凭据
上下文注释
连接池
HLL 素描
聚合感知
增量 PDT
毫秒
微秒
具体化视图
非重复近似计数

Google BigQuery 旧版 SQL

从 Looker 24.10 开始,Google BigQuery 旧版 SQL 支持以下功能:

特征 是否支持?
支持级别
受支持
Looker (Google Cloud Core)
对称汇总
派生表
永久性 SQL 派生表
永久性原生派生表
稳定视图
终止查询
基于 SQL 的数据透视
时区
SSL
小计
JDBC 其他参数
区分大小写
位置类型
名单类型
百分位
不同百分位
SQL Runner 显示进程
SQL Runner 描述表
SQL Runner 显示索引
SQL Runner 选择 10
SQL 运行程序数量
SQL 说明
OAuth 凭据
上下文注释
连接池
HLL 素描
聚合感知
增量 PDT
毫秒
微秒
具体化视图
非重复近似计数

后续步骤

将数据库连接到 Looker 后,请为用户配置登录选项