Google BigQuery

概览

本页面介绍了如何在 Looker 中设置与 Google BigQuery 标准 SQL 或 Google BigQuery 旧版 SQL 的连接。

设置 Google BigQuery 标准 SQL 或 Google BigQuery 旧版 SQL 连接的常规步骤如下:

  1. 在 BigQuery 数据库中,配置 Looker 将用于访问 BigQuery 数据库的身份验证。Looker 支持 BigQuery 的以下身份验证选项:

  2. 如果您想在 BigQuery 数据库中对连接使用永久派生表 (PDT),请创建一个临时数据集,以便 Looker 在您的数据库中创建 PDT。如需了解该过程,请参阅本页面中的为永久性派生表创建临时数据集部分。

  3. 在 Looker 中,设置 Looker 与 BigQuery 数据库的连接。如需了解相应步骤,请参阅本页中的将 Looker 连接到 BigQuery部分。

  4. 在 Looker 中,测试 Looker 与 BigQuery 数据库之间的连接。有关该过程,请参阅此页面上的测试连接部分。

对网络流量进行加密

最佳做法是对 Looker 应用和数据库之间的网络流量进行加密。不妨考虑启用安全的数据库访问文档页面中介绍的选项之一。

使用 BigQuery 服务账号进行身份验证

Looker 可通过 BigQuery 服务账号向 BigQuery 数据库进行身份验证。您可以使用 Google Cloud 控制台中的 API 管理器在 BigQuery 数据库上创建服务账号。您必须拥有 Google Cloud 管理员权限才能创建服务账号。请参阅有关创建服务账号生成私钥的文档。

创建服务账号并下载 JSON 凭据证书

如需创建 BigQuery 服务账号,请按以下步骤操作:

  1. Google Cloud 控制台的 API 管理器中打开凭据页面,然后选择您的项目。

  2. 选择创建凭据,然后选择服务账号

  3. 输入新服务账号的名称,您也可以选择添加说明,然后选择创建并继续

  4. 您的服务账号需要具有两个 Google BigQuery 预定义角色

    • BigQuery > BigQuery Data Editor
    • BigQuery > BigQuery Job User

    选择角色字段中选择第一个角色,选择添加其他角色,然后选择第二个角色。

    选择这两个角色后,选择继续,然后选择完成

  5. 凭据页面中,选择您的新服务账号:

  6. 依次选择密钥添加密钥,然后从下拉菜单中选择创建新密钥

  7. 选择密钥类型下的 JSON,然后选择创建

  8. JSON 密钥将保存到您的计算机上。

    记下下载位置后,选择关闭

  9. 选择完成

  10. 找到与服务账号对应的电子邮件地址。您需要使用此地址来配置 Looker 与 BigQuery 的连接:

  11. 在 BigQuery 数据库上创建服务账号后,您在设置 Looker 与 BigQuery 的连接时,需要在 Looker 的连接窗口的服务账号电子邮件地址服务账号 JSON/P12 文件密码字段中输入此服务账号信息和证书文件详细信息。

使用 OAuth 进行身份验证

Looker 支持 Google BigQuery 连接的 OAuth,这意味着每位 Looker 用户都需要使用自己的 Google OAuth 凭据对 Google 进行身份验证,并授权 Looker 访问数据库。

借助 OAuth,数据库管理员可以执行以下函数:

  • 审核哪些 Looker 用户正在针对数据库运行查询。
  • 使用 Google 权限实施基于角色的访问权限控制。
  • 为访问 Google BigQuery 的所有进程和操作使用 OAuth 令牌,而不是在多个位置嵌入 BigQuery ID 和密码。

请注意,对于通过 OAuth 建立的 BigQuery 连接,请注意以下事项:

  • 如果数据库管理员更改 BigQuery OAuth 客户端凭据,用户拥有的所有时间表或提醒都会受到影响。如果管理员更改了 BigQuery OAuth 凭据,用户必须重新登录。用户还可以从用户个人资料账号页面前往自己的 Looker 账号页面,然后登录 Google。
  • 由于使用 OAuth 的 BigQuery 连接是“按用户”的,因此缓存政策也是按用户,而不仅仅是按查询。也就是说,Looker 只会在缓存期限内同一用户运行了同一查询时使用缓存结果,而不是在缓存期限内每次运行同一查询时都使用缓存结果。如需详细了解缓存,请参阅缓存查询文档页面。
  • 如果您想通过 OAuth 通过 BigQuery 连接使用永久性派生表 (PDT),则必须再创建一个服务账号,以便 Looker 访问您的数据库以进行 PDT 流程。如需了解相关信息,请参阅本页面上的 BigQuery 连接上的永久性派生表部分。
  • 当管理员以另一用户的身份执行 sudo 操作时,将使用该用户的 OAuth 授权令牌。如需了解如何使用 sudo 命令,请参阅用户文档页面。

为 OAuth 配置 BigQuery 数据库项目

下面几部分介绍了如何生成 OAuth 凭据以及如何配置 OAuth 权限请求页面

在以下情况下,您无需执行这些步骤:

必须在 Google Cloud 控制台中配置 OAuth 凭据和 OAuth 权限请求页面。您可以在 Google Cloud 支持网站和 Google 开发者控制台网站上找到 Google 通用说明。

根据在 Looker 中访问 BigQuery 数据的用户类型以及您的 BigQuery 数据是公开还是私有的,OAuth 可能不是最合适的身份验证方法。同样,当用户通过 Google 身份验证来使用 Looker 时,系统向用户请求的数据类型以及对该用户数据所需的访问权限级别可能需要经过 Google 验证。如需详细了解验证,请参阅本页中的生成 Google OAuth 凭据部分。

生成 Google OAuth 凭据

  1. 前往 Google Cloud 控制台

  2. 选择项目下拉菜单中,前往您的 BigQuery 项目。系统应该会将您转到项目信息中心。

  3. 在左侧菜单中,依次选择 API 和服务页面。然后,选择凭据。在凭据页面上,选择创建凭据按钮中的下拉箭头,然后从下拉菜单中选择 OAuth 客户端 ID

  4. Google 要求您先配置 OAuth 权限请求页面(让用户选择如何授予对其私密数据的访问权限),然后才能生成 OAuth 凭据。要配置 OAuth 权限请求页面,请参阅本页面中的配置 OAuth 权限请求页面部分。

  5. 如果您已配置 OAuth 同意屏幕,Google 会显示创建 OAuth 客户端 ID 页面,您可以在该页面创建 OAuth 客户端 ID 和密钥,以用于与 Looker 的 BigQuery 连接。从应用类型下拉菜单中,选择网页应用。页面会展开,并显示其他选项:

  6. 名称字段中,输入应用的名称,例如 Looker。

  7. 已获授权的 JavaScript 来源部分中,选择 + 添加 URI 以显示 URIs 1 字段。在 URIs 1 字段中,输入 Looker 实例的网址,包括 https://。例如:

    • 如果 Looker 托管您的实例:https://<instancename>.looker.com
    • 如果您有客户托管的 Looker 实例:https://looker.<mycompany>.com
    • 如果您的 Looker 实例需要端口号:https://looker.<mycompany>.com:9999
  8. 已获授权的重定向 URI 部分,选择 + 添加 URI 以显示 URI 1 字段。在 URI 1 字段中,输入 Looker 实例的网址,后跟 /external_oauth/redirect。例如:https://<instancename>.looker.com/external_oauth/redirecthttps://looker.<mycompany>.com:9999/external_oauth/redirect

  9. 选择创建。Google 会显示您的客户端 ID客户端密钥

  10. 复制您的客户端 ID 和客户端密钥值。您需要这些信息来在 Looker 中为 BigQuery 连接配置 OAuth

Google 要求您配置 OAuth 同意屏幕,以便用户选择如何授予对其私有数据的访问权限,并提供指向贵组织的服务条款和隐私权政策的链接。

在左侧菜单中,选择 OAuth 同意屏幕页面。在配置 OAuth 权限请求页面之前,您必须选择要向其提供此应用的用户的类型。根据您的选择,您的应用可能需要经过 Google 验证

进行选择,然后选择创建。Google 会显示 OAuth 同意屏幕页面。您可以为项目中的所有应用配置此屏幕,包括内部应用和公开应用

如果满足以下任一条件,Google 将对公开应用执行验证:

  • 应用使用使用受限或敏感范围的 Google API。
  • OAuth 权限请求页面包含应用徽标。
  • 项目已超出网域阈值。

要配置 OAuth 权限请求页面,请执行以下操作:

  1. 应用名称字段中,输入用户要授予访问权限的应用的名称,在本例中为 Looker。

  2. 用户支持电子邮件字段中,输入用户在遇到登录或意见征求问题时应联系的支持电子邮件地址。

  3. 选择添加网域,系统会显示已获授权的网域 1 字段。在此字段中,输入 Looker 实例网址的域名。例如,如果 Looker 在 https://<instance_name>.cloud.looker.com 托管您的实例,则网域为 cloud.looker.com。对于客户托管的 Looker 部署,请输入您托管 Looker 的网域。

  4. 开发者联系信息部分,输入一个或多个电子邮件地址,以便 Google 就您的项目与您联系。

    其余字段是可选字段,但您可以使用它们进一步自定义意见征求界面。

  5. 选择保存并继续

  6. Google 会显示镜重页面,您可以在其中配置镜重。Looker 只需要默认范围,因此不需要额外的范围配置。选择保存并继续

  7. 摘要页面上,选择返回信息中心

现在,您可以继续生成 OAuth 凭据的流程。

如需详细了解如何配置 Google OAuth 同意屏幕,请参阅 Google 支持文档。

使用 OAuth 为 BigQuery 配置 Looker 连接

如需为您的 BigQuery 连接启用 OAuth,请在设置 Looker 与 BigQuery 的连接时,在 Looker 连接页面上选择 OAuth 选项。选择 OAuth 选项后,Looker 会显示 OAuth 客户端 IDOAuth 客户端密钥 字段。粘贴您在本页生成 Google OAuth 凭据过程中作为步骤获取的客户端 ID客户端密钥值。

如果您为 BigQuery OAuth 设置了会话时长,则为避免 Looker 会话超时,您需要使用豁免受信任的应用功能将 Looker 添加到受信任的应用。如需查看此过程的步骤,请参阅“为 Google Cloud 服务设置会话时长”帮助文章

Looker 用户如何使用 OAuth 对 BigQuery 进行身份验证

针对 OAuth 设置 Looker 与 BigQuery 的连接后,用户可以使用 Looker 对 BigQuery 数据库执行初始身份验证,具体方法如下:

通过查询向 Google 进行身份验证

为 Looker 与 BigQuery 之间的连接设置 OAuth 后,Looker 会提示用户使用其 Google 账号登录,然后才能运行使用 BigQuery 连接的查询。Looker 会在探索、信息中心、Look 和 SQL Runner 中显示此提示。

用户必须选择登录并使用 OAuth 进行身份验证。用户在 BigQuery 中进行身份验证后,可以在“探索”中选择运行按钮,Looker 会将数据加载到“探索”中。

从用户账号页面向 Google 进行身份验证

针对 OAuth 设置 Looker 与 BigQuery 的连接后,用户可以通过 Looker 用户账号页面对其 Google 账号进行身份验证:

  1. 在 Looker 中,选择个人资料图标,然后从用户菜单中选择账号
  2. 前往 OAuth 连接凭据部分,然后选择相应 BigQuery 数据库连接的登录按钮。
  3. 使用 Google 账号登录页面中选择相应的账号。
  4. 在 OAuth 同意屏幕上选择允许,以允许 Looker 查看和管理您在 Google BigQuery 中的数据。

通过 Looker 进行身份验证登录 Google 后,您可以随时通过账号页面退出账号或重新授权您的凭据,如对用户账号进行个性化设置文档页面中所述。尽管 Google BigQuery 令牌不会过期,但用户可以选择重新授权,使用其他 Google 账号登录。

撤消 OAuth 令牌

用户可以访问自己的 Google 账号设置,在其中Looker对 Google 账号的访问权限。

Google BigQuery 令牌不会过期;但是,如果数据库管理员以使现有凭据失效的方式更改了数据库连接的 OAuth 凭据,则用户必须先使用自己的 Google 账号重新登录,然后才能运行使用该连接的任何查询。

BigQuery 连接中的永久派生表

如果要为 BigQuery 连接使用永久性派生表 (PDT),您可能需要执行以下操作,具体取决于您的连接配置:

  • 使用 Google Cloud 控制台在 BigQuery 数据库中创建一个临时数据集,供 Looker 用于写入 PDT。如需了解过程,请参阅本页面上的为永久性派生表创建临时数据集部分。无论连接的其他配置选项如何,PDT 都必须执行此步骤。
  • 使用 Google Cloud 控制台中的 API 管理器,为 Looker 的 PDT 进程创建单独的服务账号。如需了解相应步骤,请参阅本页上的创建服务账号并下载 JSON 凭据证书部分。连接上的身份验证类型会影响是否需要 PDT 服务账号,以及您在设置与 BigQuery 的 Looker 连接时在 Looker 连接窗口中输入 PDT 服务账号信息的位置:
    • 如果您的关联使用 OAuth 进行用户身份验证,您必须为 PDT 流程创建单独的服务账号。您将在 Looker 的连接窗口的 PDT 替换项部分中输入服务账号信息和证书文件详细信息。如果您为连接还配置了 Authentication(身份验证)字段中的 OAuth 选项,并且为该连接开启了启用 PDT 切换开关,则 Looker 的连接窗口会自动显示 PDT 覆盖部分。如需了解详情,请参阅为使用 OAuth 的 Looker 连接到 BigQuery 启用 PDT 部分。
    • 如果您的关联使用服务账号进行用户身份验证,您可以选择为 PDT 流程创建单独的服务账号。如果您选择使用单独的 PDT 服务账号,则需要在 Looker 的连接窗口的 PDT 替换项部分中,为服务账号电子邮件地址服务账号 JSON/P12 文件密码字段输入服务账号信息。为使用服务账号身份验证的 Looker 与 BigQuery 连接开启启用 PDT 切换开关后,系统会显示 PDT 覆盖部分。

为永久性派生表创建临时数据集

如需为 BigQuery 连接启用永久派生表 (PDT),请在设置 Looker 与 BigQuery 的连接时,在 Looker 的连接页面上开启启用 PDT 切换开关。启用 PDT 后,Looker 会显示临时数据集字段。在此字段中,输入 Looker 可用于创建 PDT 的数据集名称。您应该提前配置此数据库或架构,并使用适当的写入权限。

您可以使用 Google Cloud 控制台设置临时数据集:

  1. 打开 Google Cloud 控制台,然后选择您的项目。

  2. 选择三点状菜单,然后选择创建数据集

  3. 输入数据集 ID(通常为 looker_scratch),然后选择数据位置(可选)、默认表有效期和加密密钥管理解决方案。选择创建数据集完成操作。

创建数据集后,当您设置与 BigQuery 的 Looker 连接时,可以在 Looker 连接窗口的临时数据集字段中指定数据集的名称。

使用 OAuth 为 Looker 与 BigQuery 的连接启用 PDT

对于使用 OAuth 的 BigQuery 连接,您的用户可以使用其 OAuth 凭据对 Looker 进行身份验证。Looker 支持使用 OAuth 的 BigQuery 连接的 PDT,但 Looker 本身无法使用 OAuth,因此您必须专门设置一个 BigQuery 服务账号,以允许 Looker 访问您的数据库以进行 PDT 流程。

您可以使用 Google Cloud API 管理器在 BigQuery 数据库上设置 PDT 服务账号。请参阅本页中的创建服务账号并下载 JSON 凭据证书部分。

在 BigQuery 数据库上创建服务账号后,您需要在设置 Looker 与 BigQuery 的连接时,在 Looker 连接窗口的 PDT 替换部分输入服务账号信息和证书文件详细信息。如果您为连接还配置了 Authentication(身份验证)字段中的 OAuth 选项,并且为该连接开启了启用 PDT 切换开关,则 Looker 的连接窗口会自动显示 PDT 覆盖部分。在 PDT 替换项部分中,使用以下字段输入 Looker 可用于数据库上的 PDT 流程的服务账号的信息:

  • 上传 p12 或 json:使用上传文件按钮,上传您要在连接上用于 PDT 进程的 BigQuery 服务账号的证书文件。您可以通过 创建服务账号并下载 JSON 凭据证书流程中的某个步骤从 Google Cloud API 管理中心获取此文件。
  • :仅当您在 PDT 替换部分的 Upload p12 or json 字段中上传 P12 文件时,此字段才适用。输入您要用于连接上的 PDT 流程的 BigQuery 服务账号的电子邮件地址。您可以在创建服务账号并下载 JSON 凭据证书流程中通过 Google Cloud API 管理器获取此电子邮件地址。
  • 密码:仅当您在 PDT 替换项部分的上传 p12 或 JSON 文件字段中上传 P12 文件时,此字段才适用。输入您要用于连接上的 PDT 流程的 BigQuery 服务账号的 .p12 凭据文件的密码。

将 Looker 连接到 BigQuery

在 Looker 的管理部分中,选择关联以打开关联页面,然后执行以下操作之一:

  • 如需创建新连接,请选择添加连接按钮。
  • 如需修改现有连接,请在数据库表中找到相应连接,然后选择该连接列表中的修改按钮。

填写连接详情。其中大多数设置对于大多数数据库方言都是通用的,请参阅将 Looker 连接到数据库文档页面。提及以下设置是为了突出显示这些设置,或阐明这些设置如何专门应用于 BigQuery 连接:

  • 方言:选择 Google BigQuery 标准 SQLGoogle BigQuery 旧版 SQL

  • 结算项目 IDGoogle Cloud 结算项目的项目 ID(唯一标识符)。结算项目是指要结算费用的 Google Cloud 项目,但如果您的 LookML 开发者在 LookML 视图探索联接sql_table_name 参数中指定了完全限定的表名称,您仍然可以查询其他 Google Cloud 项目中的数据集。对于 BigQuery,完全限定的表名称采用 <project_name>.<dataset_name>.<table_name> 格式。如果没有完全限定范围的引用,BigQuery 会在您在 Looker 的关联页面中为 BigQuery 与 Looker 之间的关联指定的结算项目和数据集中查找表。如需了解 BigQuery 中的资源层次结构,请参阅 BigQuery 文档

  • 数据集您希望 Looker 在查询数据库时默认使用的数据集的名称。默认数据集必须位于为连接指定的结算项目中;您无法在数据库字段中输入 project_name.dataset_name 等值来指定其他项目中的数据集。

    如果您的 LookML 开发者在 LookML 视图探索联接sql_table_name 参数中指定完整范围的表名称,您的 LookML 项目便可以访问其他数据集中的表(包括公共数据集中的表)。对于 BigQuery,完全限定范围的表名称采用 <project_name>.<dataset_name>.<table_name> 格式。如需查询其他数据集中的表,必须有服务账号(适用于使用服务账号身份验证的连接)或运行查询的用户(适用于使用 OAuth 身份验证的连接)访问该表。如果您的 LookML 代码未指定完全限定的表名称,BigQuery 将在您在 BigQuery 连接的数据集字段中指定的数据集中搜索表。

    如果您的项目没有任何数据集(如果您将计算和存储分到不同的项目中,就可能会出现这种情况),您可以提供任意的数据集值,但之后必须始终在 LookML 中使用完全限定的表名称。

  • 身份验证:Looker 将用于访问数据库的身份验证类型。其中一些选项仅适用于 Looker (Google Cloud Core) 实例:

    • 应用默认凭据:(仅限 Looker (Google Cloud Core))选择此选项可使用应用默认凭据 (ADC) 向数据库进行身份验证(如需了解详情,请参阅 Looker (Google Cloud Core) 文档)。
    • 服务账号:选择此选项可使用 BigQuery 服务账号,以便 Looker 向您的数据库进行身份验证(如需了解详情,请参阅使用 BigQuery 服务账号进行身份验证)。选择服务账号后,您会看到以下字段:
      • 上传服务 JSON 或 P12 文件:使用上传文件按钮上传 BigQuery 服务账号的证书文件。您可以通过 创建服务账号并下载 JSON 凭据证书流程中的某个步骤从 Google Cloud API 管理中心获取此文件。
      • 服务账号电子邮件地址:只有在您在上传服务 JSON 或 P12 文件字段中上传 P12 文件时,此字段才适用。输入 BigQuery 服务账号的电子邮件地址,您可以在创建服务账号并下载 JSON 凭据证书流程中通过 Google Cloud API 管理器获取该地址。
      • :BigQuery 服务账号的 P12 凭据文件的密码。仅当您在上传服务 JSON 或 P12 文件字段中上传 P12 文件时,密码字段才适用。
    • OAuth:选择此选项可让每位 Looker 用户都能够对 Google BigQuery 进行身份验证,并授权 Looker 使用用户的 BigQuery 账号访问数据库。如需详细了解如何为 BigQuery 连接实现 OAuth,请参阅本页中的通过 OAuth 进行身份验证部分。选择 OAuth 后,您会看到以下字段:

  • 启用 PDT:启用此切换开关可允许在连接上使用永久性派生表 (PDT)。您需要在数据库中指定 Looker 将用于写入 PDT 的临时数据集。如需了解相应过程,请参阅本页上的为永久性派生表创建临时数据集部分。 注意:如果您的连接配置为 OAuth,您将需要使用 PDT 覆盖部分来指定 Looker 可在您的 BigQuery 连接上用于 PDT 流程的服务账号。如需了解详情,请参阅使用 OAuth 为 Looker 与 BigQuery 的连接启用 PDT 部分。

  • 临时数据集:您在 Google Cloud 控制台中创建的 BigQuery 数据集,用于允许 Looker 向您的数据库写入永久性派生表。请参阅为永久性派生表创建临时数据集部分,了解具体操作。

  • 数据库时区:BigQuery 的默认时区为世界协调时间 (UTC)。您在此处指定的时区设置需要与 BigQuery 时区设置一致。如需了解详情,请参阅将 Looker 连接到您的数据库页面的数据库时区部分。

  • 查询时区:如需了解详情,请参阅将 Looker 连接到数据库页面的查询时区部分。

  • 其他 JDBC 参数:添加任何其他 JDBC 参数,例如 BigQuery 标签(如需了解详情,请参阅本页面的 BigQuery 连接的作业标签和上下文注释部分)。以下是其他一些受支持的参数:

    • connectTimeout:等待连接的毫秒数。默认值为 240000。
    • readTimeout:等待读取操作的毫秒数。默认值为 240000。
    • rootUrl:如果您在专用网络中有一个 BigQuery 实例,请指定一个用于连接到 BigQuery 的备用端点(而不是默认的公共端点)。
  • 最高结算千兆字节数:对于 BigQuery 连接,系统会根据每个查询的大小向您收费。为防止用户不小心运行费用过高的查询,您可以设置用户在单次查询中允许提取的 GB 数上限。如果您没有限制查询大小,则可以将 Max Billing GB(最大结算 GB)字段留空。如需详细了解价格,请参阅 BigQuery 价格页面

  • 每个节点的最大连接数:最初可以保留默认值。如需详细了解此设置,请参阅将 Looker 连接到数据库文档页面的每个节点的连接数上限部分。

  • 连接池超时:初始值可以保留为默认值。如需详细了解此设置,请参阅将 Looker 连接到数据库文档页面的连接池超时部分。

  • 停用上下文:此选项会停用 BigQuery 连接的上下文注释。默认情况下,针对 Google BigQuery 连接的上下文注释处于停用状态,因为上下文注释会导致 Google BigQuery 的缓存能力失效,并且可能会对缓存性能产生负面影响。您可以通过关闭停用上下文切换开关,为 BigQuery 连接启用上下文注释。如需了解详情,请参阅 BigQuery 连接的作业标签和上下文注释部分。

  • SQL Runner 预缓存:如果您希望 SQL Runner 不预加载表信息,而是仅在选择某个表时加载表信息,请清除此选项。如需了解详情,请参阅将 Looker 连接到您的数据库页面的 SQL Runner 预缓存部分。

填写连接的所有适用字段后,您可以根据需要测试连接

如需保存这些设置,请点击连接

测试连接

您可以在 Looker 界面中的几个位置测试连接设置:

  • 选择连接设置页面底部的测试按钮,如将 Looker 连接到数据库文档页面中所述。
  • 连接管理页面上的连接列表旁,选择测试按钮,如连接文档页面中所述。

对于新连接,如果 Looker 显示可以连接,请选择添加连接。Looker 将运行其余的连接测试,以验证服务账号是否已正确设置且角色是否正确。

测试使用 OAuth 的连接

  1. 在 Looker 中,进入开发模式
  2. 对于使用 OAuth 的现有 BigQuery 连接,请前往使用 BigQuery 连接的 Looker 项目的项目文件。对于使用 OAuth 的新 BigQuery 连接,请打开模型文件,将模型的 connection 值替换为新 BigQuery 连接的名称,然后保存模型文件。
  3. 打开模型的某个探索或信息中心,然后运行查询。当您尝试运行查询时,Looker 会提示您使用 Google 账号登录。按照 Google OAuth 登录提示操作。

BigQuery 连接的作业标签和上下文注释

对于 BigQuery 连接,Looker 会以 BigQuery 作业标签的形式发送查询上下文。默认情况下,Looker 会为 BigQuery 连接发送以下上下文标签键:

  • looker-context-user_id:Looker 实例上每个用户的唯一标识符。您可以将此用户 ID 与管理菜单中的用户页面上的用户 ID 进行匹配。
  • looker-context-history_slug:Looker 实例在数据库上运行的每个查询的唯一标识符。

  • looker-context-instance_slug:发出查询的 Looker 实例的 ID 编号。如有必要,Looker 支持团队可以使用此信息来帮助您排查问题。

您可以使用连接页面的其他 JDBC 参数文本字段,为 Looker 配置其他作业标签,以便在 BigQuery 连接上的每次查询中发送这些标签。在 Additional JDBC parameters(其他 JDBC 参数)字段中,添加一个额外的 JDBC 参数 labels,并提供以英文逗号分隔的网址编码 key=value 对列表。例如,如果在其他 JDBC 参数字段中添加此参数:

labels=this%3Dconnection-label,that%3Danother-connection-label

%3D= 的网址编码,因此除了默认的 Looker 情境标签之外,这还会将以下两个标签添加到 Looker 发送到 BigQuery 数据库的每个查询中:

  • thisconnection-label
  • thatanother-connection-label

请注意,BigQuery 有作业标签限制

  • 与情境标签具有相同键的任何关联标签都将被忽略。
  • 如果连接标签和上下文标签的并集超过总标签数上限(64 个),系统会先舍弃上下文标签,然后舍弃连接标签,直到标签总数不超过 64 个。

Looker 可确保上下文标签符合 BigQuery 的所有标签有效性要求,但不会检查连接标签的有效性。配置无效的连接标签可能会导致查询失败。

Looker 默认发送的 BigQuery 作业标签(looker-context-user_idlooker-context-history_idlooker-context-instance_slug)对应于 Looker 为 BigQuery 以外的数据库方言的 SQL 查询附加的 SQL 上下文注释。对于 BigQuery 连接,上下文注释默认处于停用状态,因为它们会使 BigQuery 无法缓存,并可能会对缓存性能产生负面影响。您可以为 BigQuery 连接启用上下文注释,方法是关闭 BigQuery 连接的停用上下文切换开关。我们建议您保留停用上下文注释的默认设置,以便能够使用 BigQuery 的缓存。但是,如果您为 BigQuery 连接取消选择停用上下文注释选项,Looker 会向您的数据库发送 SQL 上下文注释和 BigQuery 作业标签。

SQL 上下文注释和 BigQuery 作业标签传达的信息是相同的。例如,Looker 可能会为查询生成以下 SQL 上下文注释:

-- Looker Query Context

'{"user_id":1,"history_id":4757,"instance_slug":"ec2804ddef74c466f2a43e0afaa3ff6b"}'

然后,Looker 会针对同一查询生成以下 BigQuery 作业标签:

[{"value":"1","key":"looker-context-user_id"},

 {"value":"4757","key":"looker-context-history_id"},

 {"value":"ec2804ddef74c466f2a43e0afaa3ff6b","key":"looker-context-instance_slug"}]

功能支持

要让 Looker 支持某些功能,您的数据库方言也必须支持这些功能。

Google BigQuery 标准 SQL

从 Looker 24.16 开始,Google BigQuery 标准 SQL 支持以下功能:

特征 是否支持?
支持级别
支持
Looker (Google Cloud Core)
对称汇总
派生表
永久性 SQL 派生表
永久性原生派生表
稳定视图
终止查询
基于 SQL 的转换
时区
SSL
小计
JDBC 其他参数
区分大小写
位置类型
名单类型
百分位
不同值百分位
SQL Runner 显示进程
SQL Runner 描述表
SQL Runner 显示索引
SQL Runner Select 10
SQL Runner 计数
SQL 说明
Oauth 凭据
上下文注释
连接池
HLL 素描
汇总认知度
增量 PDT
毫秒
微秒
具体化视图
非重复近似计数

Google BigQuery 旧版 SQL

从 Looker 24.16 开始,Google BigQuery 旧版 SQL 支持以下功能:

特征 是否支持?
支持级别
支持
Looker (Google Cloud Core)
对称汇总
派生表
永久性 SQL 派生表
永久性原生派生表
稳定视图
查询终止
基于 SQL 的转换
时区
SSL
小计
JDBC 其他参数
区分大小写
位置类型
名单类型
百分位
不同值百分位
SQL Runner 显示进程
SQL Runner 描述表
SQL Runner 显示索引
SQL Runner Select 10
SQL Runner 计数
SQL 说明
Oauth 凭据
上下文注释
连接池
HLL 草图
聚合感知
增量 PDT
毫秒
微秒
具体化视图
近似计数不同

后续步骤

将数据库连接到 Looker 后,请为用户配置登录选项