Google BigQuery

概览

本页介绍了如何在 Looker 中设置与 Google BigQuery 标准 SQL 或 Google BigQuery 旧版 SQL 的连接。

设置 Google BigQuery 标准 SQL 或 Google BigQuery 旧版 SQL 连接的一般步骤如下:

  1. 在 BigQuery 数据库中,配置 Looker 将用于访问 BigQuery 数据库的身份验证。Looker 支持 BigQuery 的以下身份验证选项:

  2. 如果您想在 BigQuery 数据库中对连接使用永久派生表 (PDT),请创建一个临时数据集,以便 Looker 在您的数据库中创建 PDT。如需了解相应过程,请参阅本页上的为永久派生表创建临时数据集部分。

  3. 在 Looker 中,设置 Looker 与 BigQuery 数据库的连接。如需了解相应步骤,请参阅本页上的将 Looker 连接到 BigQuery部分。

  4. 在 Looker 中,测试 Looker 与 BigQuery 数据库之间的连接。如需了解相应步骤,请参阅本页上的测试连接部分。

加密网络流量

最佳做法是加密 Looker 应用与数据库之间的网络流量。不妨考虑启用安全的数据库访问文档页面中介绍的选项之一。

使用 BigQuery 服务账号进行身份验证

Looker 可以通过 BigQuery 服务账号对您的 BigQuery 数据库进行身份验证。您可以使用 Google Cloud 控制台中的 API 管理器在 BigQuery 数据库上创建服务账号。您必须拥有 Google Cloud 管理员权限才能创建服务账号。请参阅有关创建服务账号生成私钥的文档。

创建服务账号并下载 JSON 凭据证书

如需创建 BigQuery 服务账号,请按以下步骤操作:

  1. Google Cloud 控制台的 API 管理器中打开凭据页面,然后选择您的项目。

  2. 选择创建凭据,然后选择服务账号

  3. 输入新服务账号的名称,您也可以选择添加说明,然后选择创建并继续

  4. 您的服务账号需要具有两个 Google BigQuery 预定义角色

    • BigQuery > BigQuery Data Editor
    • BigQuery > BigQuery Job User

    选择角色字段中选择第一个角色,选择添加其他角色,然后选择第二个角色。

    选择这两个角色后,选择继续,然后选择完成

  5. 凭据页面中,选择您的新服务账号:

  6. 依次选择密钥添加密钥,然后在下拉菜单中选择创建新密钥

  7. 密钥类型下,选择 JSON,然后选择创建

  8. JSON 密钥将保存到您的计算机上。

    记下下载位置后,选择关闭

  9. 选择完成

  10. 找到与服务账号对应的电子邮件地址。您需要此地址才能配置 Looker 与 BigQuery 的连接:

  11. 在 BigQuery 数据库上创建服务账号后,您在设置 Looker 与 BigQuery 的连接时,需要在 Looker 的连接窗口的服务账号电子邮件地址服务账号 JSON/P12 文件密码字段中输入此服务账号信息和证书文件详细信息。

使用 OAuth 进行身份验证

Looker 支持 Google BigQuery 连接的 OAuth,这意味着每位 Looker 用户都需要使用自己的 Google OAuth 凭据对 Google 进行身份验证,并授权 Looker 访问数据库。

借助 OAuth,数据库管理员可以执行以下函数:

  • 审核哪些 Looker 用户正在针对数据库运行查询。
  • 使用 Google 权限强制执行基于角色的访问权限控制。
  • 对访问 Google BigQuery 的所有进程和操作使用 OAuth 令牌,而不是在多个位置嵌入 BigQuery ID 和密码。

请注意,对于通过 OAuth 建立的 BigQuery 连接,请注意以下事项:

  • 如果数据库管理员更改 BigQuery OAuth 客户端凭据,用户拥有的所有时间表或提醒都会受到影响。如果管理员更改了 BigQuery OAuth 凭据,用户必须重新登录。用户还可以前往其 User Profile Account(用户个人资料账号)页面,然后前往其 Looker Account(账号)页面登录 Google。
  • 由于使用 OAuth 的 BigQuery 连接是“按用户”的,因此缓存政策也是按用户,而不仅仅是按查询。也就是说,Looker 只会在缓存期限内同一用户运行了同一查询时使用缓存结果,而不是在缓存期限内每次运行同一查询时都使用缓存结果。如需详细了解缓存,请参阅缓存查询文档页面。
  • 如果您想在使用 OAuth 的 BigQuery 连接中使用永久派生表 (PDT),则必须为 Looker 创建一个额外的服务账号,以便 Looker 访问您的数据库以进行 PDT 处理。如需了解详情,请参阅本页的BigQuery 连接中的永久派生表部分。
  • 当管理员以其他用户身份使用 sudo 时,将使用该用户的 OAuth 授权令牌。如需了解如何使用 sudo 命令,请参阅用户文档页面。

为 OAuth 配置 BigQuery 数据库项目

以下部分介绍了如何生成 OAuth 凭据以及如何配置 OAuth 同意屏幕

在以下情况下,您无需执行这些步骤:

必须在 Google Cloud 控制台中配置 OAuth 凭据和 OAuth 同意屏幕。Google 通用说明可在 Google Cloud 支持网站和 Google 开发者控制台网站上找到。

根据在 Looker 中访问 BigQuery 数据的用户类型以及您的 BigQuery 数据是公开还是私有的,OAuth 可能不是最合适的身份验证方法。同样,当用户通过 Google 身份验证来使用 Looker 时,系统向用户请求的数据类型以及对该用户数据所需的访问权限级别可能需要经过 Google 验证。如需详细了解验证,请参阅本页中的生成 Google OAuth 凭据部分。

生成 Google OAuth 凭据

  1. 前往 Google Cloud 控制台

  2. 选择项目下拉菜单中,前往您的 BigQuery 项目。这应该会打开您的项目信息中心。

  3. 在左侧菜单中,选择 API 和服务页面。然后,选择凭据。在凭据页面上,选择创建凭据按钮中的下拉箭头,然后从下拉菜单中选择 OAuth 客户端 ID

  4. Google 要求您先配置 OAuth 权限请求页面(让用户选择如何授予对其私密数据的访问权限),然后才能生成 OAuth 凭据。如需配置 OAuth 权限请求页面,请参阅本页中的配置 OAuth 权限请求页面部分。

  5. 如果您已配置 OAuth 权限请求页面,Google 会显示创建 OAuth 客户端 ID 页面,您可以在该页面中创建 OAuth 客户端 ID 和密钥,以便在 BigQuery 与 Looker 的连接中使用。从应用类型下拉菜单中,选择网页应用。页面会展开,并显示其他选项:

  6. 名称字段中,输入应用的名称,例如 Looker。

  7. 已获授权的 JavaScript 来源部分中,选择 + 添加 URI 以显示 URI 1 字段。在 URI 1 字段中,输入 Looker 实例的网址,包括 https://。例如:

    • 如果 Looker 托管您的实例:https://<instancename>.looker.com
    • 如果您使用的是客户托管的 Looker 实例:https://looker.<mycompany>.com
    • 如果您的 Looker 实例需要端口号:https://looker.<mycompany>.com:9999
  8. 已获授权的重定向 URI 部分,选择 + 添加 URI 以显示 URI 1 字段。在 URI 1 字段中,输入 Looker 实例的网址,后跟 /external_oauth/redirect。例如:https://<instancename>.looker.com/external_oauth/redirecthttps://looker.<mycompany>.com:9999/external_oauth/redirect

  9. 选择创建。Google 会显示您的客户端 ID客户端密钥

  10. 复制您的客户端 ID 和客户端密钥值。您需要这些信息来在 Looker 中为 BigQuery 连接配置 OAuth

Google 要求您配置 OAuth 权限请求页面,以便用户选择如何授予对其私有数据的访问权限,并提供指向贵组织服务条款和隐私权政策的链接。

在左侧菜单中,选择 OAuth 权限请求屏幕页面。您必须先选择要向哪类用户提供此应用,然后才能配置 OAuth 权限请求页面。根据您的选择,您的应用可能需要经过 Google 验证

进行选择,然后选择创建。Google 会显示 OAuth 权限请求页面。您可以为项目中的所有应用配置此屏幕,包括内部应用和公开应用

如果满足以下任一条件,Google 将对公开应用执行验证:

  • 应用使用使用受限范围或敏感范围的 Google API。
  • OAuth 权限请求页面包含应用徽标。
  • 项目已超出网域阈值。

如需配置 OAuth 权限请求页面,请执行以下操作:

  1. 应用名称字段中,输入用户要授予访问权限的应用的名称,在本例中为 Looker。

  2. 用户支持电子邮件字段中,输入用户在遇到登录或意见征求问题时应联系的支持电子邮件地址。

  3. 选择添加网域,以显示已获授权的网域 1 字段。在此字段中,输入 Looker 实例网址的域名。例如,如果 Looker 在 https://<instance_name>.cloud.looker.com 托管您的实例,则网域为 cloud.looker.com。对于客户托管的 Looker 部署,请输入您托管 Looker 的域名。

  4. 开发者联系信息部分中,输入一个或多个电子邮件地址,以便 Google 就项目事宜与您联系。

    其余字段是可选字段,但您可以使用它们进一步自定义意见征求界面。

  5. 选择保存并继续

  6. Google 会显示镜重页面,您可以在其中配置镜重。Looker 仅需要默认镜重,因此无需进行额外的镜重配置。选择保存并继续

  7. 摘要页面上,选择返回信息中心

现在,您可以继续生成 OAuth 凭据的流程。

如需详细了解如何配置 Google OAuth 权限请求页面,请参阅 Google 支持文档。

使用 OAuth 为 BigQuery 配置 Looker 连接

如需为 BigQuery 连接启用 OAuth,请在设置 Looker 与 BigQuery 的连接时,在 Looker 的连接页面上选择 OAuth 选项。选择 OAuth 选项后,Looker 会显示 OAuth 客户端 IDOAuth 客户端密钥 字段。粘贴您在本页生成 Google OAuth 凭据过程中作为步骤获取的客户端 ID客户端密钥值。

如果您为 BigQuery OAuth 设置了会话时长,则为避免 Looker 会话超时,您需要使用豁免受信任的应用功能将 Looker 添加到受信任的应用。如需查看此过程的步骤,请参阅为 Google Cloud 服务设置会话时长帮助文章。

Looker 用户如何使用 OAuth 对 BigQuery 进行身份验证

为 Looker 与 BigQuery 之间的连接设置 OAuth 后,用户可以通过执行以下任一操作,使用 Looker 对 BigQuery 数据库执行初始身份验证:

通过查询登录 Google

为 Looker 与 BigQuery 之间的连接设置 OAuth 后,Looker 会提示用户使用其 Google 账号登录,然后才能运行使用 BigQuery 连接的查询。Looker 会在探索、信息中心、Look 和 SQL Runner 中显示此提示。

用户必须选择登录并使用 OAuth 进行身份验证。用户在 BigQuery 中完成身份验证后,可以选择“探索”中的 Run 按钮,Looker 将将数据加载到“探索”中。

从用户账号页面登录 Google

为 Looker 与 BigQuery 之间的连接设置 OAuth 后,用户便可通过 Looker 用户账号页面对其 Google 账号进行身份验证:

  1. 在 Looker 中,选择个人资料图标,然后从用户菜单中选择账号
  2. 前往 OAuth 连接凭据部分,然后选择相应 BigQuery 数据库连接的登录按钮。
  3. 使用 Google 账号登录页面中选择相应的账号。
  4. 在 OAuth 意见征求界面上,选择 Allow(允许),以允许 Looker 查看和管理您在 Google BigQuery 中的数据。

通过 Looker 进行身份验证并登录 Google 后,您可以随时通过账号页面退出账号或重新授权您的凭据,如对用户账号进行个性化设置文档页面中所述。虽然 Google BigQuery 令牌不会过期,但用户可以选择重新授权,以使用其他 Google 账号登录。

撤消 OAuth 令牌

用户可以访问其 Google 账号设置撤消 Looker 等应用对 Google 账号的访问权限。

Google BigQuery 令牌不会过期;但是,如果数据库管理员更改数据库连接的 OAuth 凭据,使现有凭据失效,用户必须使用其 Google 账号重新登录,然后才能运行使用该连接的任何查询。

BigQuery 连接中的永久派生表

如果您想为 BigQuery 连接使用永久派生表 (PDT),则可能需要执行以下操作,具体取决于您的连接配置:

  • 使用 Google Cloud 控制台在 BigQuery 数据库中创建一个临时数据集,供 Looker 用于写入 PDT。如需了解相应过程,请参阅本页上的为永久性派生表创建临时数据集部分。对于 PDT,无论连接的其他配置选项如何,都必须执行此步骤。
  • 使用 Google Cloud 控制台中的 API 管理器为 Looker 的 PDT 进程创建单独的服务账号。如需了解相应步骤,请参阅本页上的创建服务账号并下载 JSON 凭据证书部分。连接的身份验证类型会影响是否需要 PDT 服务账号,以及在设置 Looker 与 BigQuery 的连接时,您在 Looker 的连接窗口中输入 PDT 服务账号信息的位置:
    • 如果您的关联使用 OAuth 进行用户身份验证,您必须为 PDT 流程创建单独的服务账号。您将在 Looker 的连接窗口的 PDT 替换设置部分中输入服务账号信息和证书文件详细信息。如果您为连接开启了启用 PDT 切换开关,并且该连接还在身份验证字段中配置了 OAuth 选项,Looker 的连接窗口会自动显示 PDT 替换项部分。如需了解详情,请参阅为使用 OAuth 的 Looker 连接到 BigQuery 启用 PDT 部分。
    • 如果您的关联使用服务账号进行用户身份验证,您可以选择为 PDT 流程创建单独的服务账号。如果您选择使用单独的 PDT 服务账号,则需要在 Looker 的连接窗口的 PDT 替换项部分中,为服务账号电子邮件地址服务账号 JSON/P12 文件密码字段输入服务账号信息。当您为使用服务账号身份验证的 Looker 连接到 BigQuery 开启启用 PDT切换开关时,系统会显示 PDT 替换项部分。

为永久性派生表创建临时数据集

如需为 BigQuery 连接启用永久派生表 (PDT),请在设置 Looker 与 BigQuery 的连接时,在 Looker 的连接页面上开启启用 PDT 切换开关。启用 PDT 后,Looker 会显示临时数据集字段。在此字段中,输入 Looker 可用于创建 PDT 的数据集名称。您应提前配置此数据库或架构,并拥有适当的写入权限。

您可以使用 Google Cloud 控制台设置临时数据集:

  1. 打开 Google Cloud 控制台,然后选择您的项目。

  2. 选择三点状菜单,然后选择创建数据集

  3. 输入数据集 ID(通常为 looker_scratch),然后选择数据位置(可选)、默认表有效期和加密密钥管理解决方案。选择创建数据集以完成操作。

现在,您已创建数据集,接下来可以在 设置 Looker 与 BigQuery 的连接时,在 Looker 的连接窗口的临时数据集字段中指定数据集的名称。

为使用 OAuth 的 Looker 连接到 BigQuery 启用 PDT

对于使用 OAuth 的 BigQuery 连接,您的用户可以使用其 OAuth 凭据对 Looker 进行身份验证。Looker 支持使用 OAuth 的 BigQuery 连接的 PDT,但 Looker 本身无法使用 OAuth,因此您必须专门设置一个 BigQuery 服务账号,以允许 Looker 访问您的数据库以进行 PDT 流程。

您可以使用 Google Cloud API Manager 在 BigQuery 数据库上设置 PDT 服务账号。请参阅本页中的创建服务账号并下载 JSON 凭据证书部分。

在 BigQuery 数据库上创建服务账号后,您在设置 Looker 与 BigQuery 的连接时,需要在 Looker 的连接窗口的 PDT 替换项部分输入服务账号信息和证书文件详细信息。如果您为连接开启了启用 PDT 切换开关,并且该连接还在身份验证字段中配置了 OAuth 选项,Looker 的连接窗口会自动显示 PDT 替换项部分。在 PDT 替换项部分中,使用以下字段输入 Looker 可用于数据库上的 PDT 流程的服务账号的信息:

  • 上传 p12 或 json:使用上传文件按钮上传您要用于连接上的 PDT 流程的 BigQuery 服务账号的证书文件。您可以通过 Google Cloud API Manager 获取此文件,作为创建服务账号并下载 JSON 凭据证书流程中的一步。
  • 用户名:只有在您在 PDT 替换项部分的上传 p12 或 JSON 文件字段中上传 P12 文件时,此字段才适用。输入您希望用于连接的 PDT 流程的 BigQuery 服务账号的电子邮件地址。您可以在 Google Cloud API Manager 中获取此电子邮件地址,作为创建服务账号并下载 JSON 凭据证书流程中的一步。
  • 密码:只有在您在 PDT 替换项部分的上传 p12 或 JSON 文件字段中上传 P12 文件时,此字段才适用。输入您要用于连接上的 PDT 流程的 BigQuery 服务账号的 .p12 凭据文件的密码。

将 Looker 连接到 BigQuery

在 Looker 的管理部分中,选择关联以打开关联页面,然后执行以下操作之一:

  • 如需创建新连接,请选择添加连接按钮。
  • 如需修改现有连接,请在数据库表中找到相应连接,然后选择该连接列表中的修改按钮。

填写连接详情。这些设置中的大多数设置对于大多数数据库方言都是通用的,如将 Looker 连接到数据库文档页面中所述。以下设置的提及是为了突出显示它们,或阐明它们如何专门应用于 BigQuery 关联:

  • 方言:选择 Google BigQuery 标准 SQLGoogle BigQuery 旧版 SQL

  • 结算项目 ID Google Cloud 结算项目的项目 ID(唯一标识符)。结算项目是指产生费用的 Google Cloud 项目,但如果您的 LookML 开发者在 LookML 视图探索联接sql_table_name 参数中指定了完全限定的表名称,您仍然可以在其他 Google Cloud 项目中查询数据集。对于 BigQuery,完全限定的表名称采用 <project_name>.<dataset_name>.<table_name> 格式。如果没有完全限定范围的引用,BigQuery 会在您在 Looker 的关联页面中为 BigQuery 与 Looker 之间的关联指定的结算项目和数据集中查找表。如需了解 BigQuery 中的资源层次结构,请参阅 BigQuery 文档

  • 存储项目 ID如果您将计算和存储分到不同的项目中,则为存储项目 ID 的名称。如果您的 LookML 开发者在 LookML 视图探索联接sql_table_name 参数中指定了完全限定的表名称,您就可以查询其他 Google Cloud 项目中的数据集。对于 BigQuery,完全限定的表名称采用 <project_name>.<dataset_name>.<table_name> 格式。如果没有完全限定范围的引用,BigQuery 会在您在 Looker 的关联页面中为 BigQuery 与 Looker 之间的关联指定的结算项目和数据集中查找表。如需了解 BigQuery 中的资源层次结构,请参阅 BigQuery 文档

  • 数据集您希望 Looker 在查询数据库时默认使用的数据集的名称。默认数据集必须位于为关联指定的结算项目中;您无法在数据库字段中输入 project_name.dataset_name 等值,以指定其他项目中的数据集。

    如果 LookML 开发者在 LookML 视图探索联接sql_table_name 参数中指定了完全限定的表名称,则您的 LookML 项目可以访问其他数据集中的表(包括公共数据集中的表)。对于 BigQuery,完全限定的表名称采用 <project_name>.<dataset_name>.<table_name> 格式。若要查询其他数据集中的表,服务账号(对于使用服务账号身份验证的连接)或运行查询的用户(对于使用 OAuth 身份验证的连接)必须能够访问该表。如果您的 LookML 代码未指定完全限定的表名称,BigQuery 将在您在 BigQuery 连接的数据集字段中指定的数据集中搜索表。

    如果您的项目没有任何数据集(如果您将计算和存储分到不同的项目中,就可能会出现这种情况),您可以提供任意的数据集值,但之后必须始终在 LookML 中使用完全限定的表名称。

  • 身份验证:Looker 将用于访问数据库的身份验证类型。其中一些选项仅适用于 Looker (Google Cloud Core) 实例:

    • 应用默认凭据:(仅限 Looker (Google Cloud Core))选择此选项可使用应用默认凭据 (ADC) 对数据库进行身份验证(如需了解详情,请参阅 Looker [Google Cloud Core] 文档)。
    • 服务账号:选择此选项可使用 BigQuery 服务账号让 Looker 对您的数据库进行身份验证(如需了解详情,请参阅使用 BigQuery 服务账号进行身份验证)。选择服务账号后,您会看到以下字段:
      • 上传服务 JSON 或 P12 文件:使用上传文件按钮上传 BigQuery 服务账号的证书文件。您可以通过 Google Cloud API Manager 获取此文件,作为创建服务账号并下载 JSON 凭据证书流程中的一步。
      • 服务账号电子邮件地址:只有在您在上传服务 JSON 或 P12 文件字段中上传 P12 文件时,此字段才适用。输入 BigQuery 服务账号的电子邮件地址,您可以在 Google Cloud API 管理器中执行此步骤,具体请参阅创建服务账号并下载 JSON 凭据证书过程。
      • 密码:BigQuery 服务账号的 P12 凭据文件的密码。只有在上传服务 JSON 或 P12 文件字段中上传 P12 文件时,密码字段才适用。
    • OAuth:选择此选项可让每位 Looker 用户都能够对 Google BigQuery 进行身份验证,并授权 Looker 使用用户的 BigQuery 账号访问数据库。如需详细了解如何为 BigQuery 连接实现 OAuth,请参阅本页中的使用 OAuth 进行身份验证部分。选择 OAuth 后,您会看到以下字段:

  • 启用 PDT:启用此切换开关可允许在连接上使用永久性派生表 (PDT)。您需要在数据库中指定 Looker 将用于写入 PDT 的临时数据集。如需了解相应过程,请参阅本页上的为永久性派生表创建临时数据集部分。 注意:如果您的连接配置为使用 OAuth,您需要使用 PDT 替换项部分指定一个服务账号,以便 Looker 在 BigQuery 连接上使用该账号进行 PDT 流程。如需了解详情,请参阅为使用 OAuth 的 Looker 连接到 BigQuery 启用 PDT 部分。

  • 临时数据集:您在 Google Cloud 控制台中创建的 BigQuery 数据集,用于允许 Looker 将永久派生表写入您的数据库。如需了解相应过程,请参阅为永久性派生表创建临时数据集部分。

  • 数据库时区:BigQuery 的默认时区为世界协调时间 (UTC)。您在此处指定的时区设置需要与 BigQuery 时区设置一致。如需了解详情,请参阅将 Looker 连接到数据库页面的数据库时区部分。

  • 查询时区:如需了解详情,请参阅将 Looker 连接到数据库页面的查询时区部分。

  • 其他 JDBC 参数:添加任何其他 JDBC 参数,例如 BigQuery 标签(如需了解详情,请参阅本页中的BigQuery 连接的作业标签和上下文注释部分)。以下是一些其他受支持的参数:

    • connectTimeout:等待连接的毫秒数。默认值为 240000。
    • readTimeout:等待读取所需的毫秒数。默认值为 240000。
    • rootUrl:如果您在专用网络中有一个 BigQuery 实例,请指定一个用于连接到 BigQuery 的备用端点(而不是默认的公共端点)。
  • 最高结算千兆字节数:对于 BigQuery 连接,系统会根据每个查询的大小向您收费。为防止用户不小心运行费用过高的查询,您可以设置用户在单次查询中允许提取的 GB 数上限。如果您不限制查询大小,可以将结算 GB 数上限字段留空。如需详细了解价格,请参阅 BigQuery 价格页面

  • 每个节点的最大连接数:最初可以保留默认值。如需详细了解此设置,请参阅将 Looker 连接到数据库文档页面中的每个节点的最大连接数部分。

  • 连接池超时:最初可以保留默认值。如需详细了解此设置,请参阅将 Looker 连接到数据库文档页面的连接池超时部分。

  • 停用上下文:此选项会停用 BigQuery 连接的上下文注释。默认情况下,Google BigQuery 连接的上下文注释处于停用状态,因为上下文注释会使 Google BigQuery 无法缓存,并可能会对缓存性能产生负面影响。您可以通过关闭停用上下文切换开关,为 BigQuery 连接启用上下文注释。如需了解详情,请参阅 BigQuery 连接的作业标签和上下文注释部分。

  • SQL Runner 预缓存:如果您希望 SQL Runner 不预加载表信息,而是仅在选择表时加载表信息,请清除此选项。如需了解详情,请参阅将 Looker 连接到数据库页面的 SQL Runner 预缓存部分。

填写连接的所有适用字段后,您可以根据需要测试连接

如需保存这些设置,请点击连接

测试连接

您可以在 Looker 界面的多个位置测试连接设置:

  • 选择连接设置页面底部的测试按钮,如将 Looker 连接到数据库文档页面中所述。
  • 连接管理页面上,点击相应连接的列表旁边的测试按钮,如连接文档页面中所述。

对于新连接,如果 Looker 显示可以连接,请选择添加连接。Looker 将运行其余的连接测试,以验证服务账号是否设置正确且具有适当的角色。

测试使用 OAuth 的连接

  1. 在 Looker 中,进入开发模式
  2. 对于使用 OAuth 的现有 BigQuery 连接,请前往使用 BigQuery 连接的 Looker 项目的项目文件。对于使用 OAuth 的新 BigQuery 连接,请打开模型文件,将模型的 connection 值替换为新 BigQuery 连接的名称,然后保存模型文件。
  3. 打开模型的某个探索或信息中心,然后运行查询。当您尝试运行查询时,Looker 会提示您使用 Google 账号登录。按照 Google OAuth 登录提示操作。

BigQuery 连接的作业标签和上下文注释

对于 BigQuery 连接,Looker 会以 BigQuery 作业标签的形式发送查询上下文。默认情况下,Looker 会为 BigQuery 连接发送以下上下文标签键:

  • looker-context-user_id:Looker 实例中每位用户的唯一标识符。您可以将此用户 ID 与管理菜单中的用户页面上的用户 ID 进行匹配。
  • looker-context-history_slug:Looker 实例在数据库上运行的每个查询的唯一标识符。

  • looker-context-instance_slug:发出查询的 Looker 实例的 ID 编号。Looker 支持团队可根据这些信息(如有必要)帮助您排查问题。

您可以使用连接页面的其他 JDBC 参数文本字段,为 Looker 配置其他作业标签,以便在 BigQuery 连接上的每次查询中发送这些标签。在 Additional JDBC parameters(其他 JDBC 参数)字段中,添加一个额外的 JDBC 参数 labels,并提供以英文逗号分隔的网址编码 key=value 对列表。例如,如果您在 Additional JDBC parameters(其他 JDBC 参数)字段中添加以下内容:

labels=this%3Dconnection-label,that%3Danother-connection-label

%3D= 的网址编码,因此除了默认的 Looker 情境标签之外,这会将以下两个标签添加到 Looker 发送到 BigQuery 数据库的每个查询中:

  • thisconnection-label
  • thatanother-connection-label

请注意,BigQuery 对作业标签有限制

  • 与情境标签具有相同键的任何关联标签都会被忽略。
  • 如果连接标签和上下文标签的联合总数超过 64 个标签的上限,系统会先舍弃上下文标签,然后舍弃连接标签,直到标签总数不超过 64 个。

Looker 会确保上下文标签符合 BigQuery 的所有标签有效性要求,但不会检查关联标签的有效性。配置无效的连接标签可能会导致查询失败。

Looker 默认发送的 BigQuery 作业标签(looker-context-user_idlooker-context-history_idlooker-context-instance_slug)对应于 Looker 为 BigQuery 以外的数据库方言的 SQL 查询附加的 SQL 上下文注释。对于 BigQuery 连接,上下文注释默认处于停用状态,因为它们会使 BigQuery 无法缓存,并可能会对缓存性能产生负面影响。您可以为 BigQuery 连接启用上下文注释,方法是关闭 BigQuery 连接的停用上下文切换开关。我们建议您保留停用上下文注释的默认设置,以便您能够使用 BigQuery 的缓存。不过,如果您为 BigQuery 连接取消选择停用上下文注释选项,Looker 会向您的数据库发送 SQL 上下文注释 BigQuery 作业标签。

SQL 上下文注释和 BigQuery 作业标签传达的信息相同。例如,Looker 可能会为查询生成以下 SQL 上下文注释:

-- Looker Query Context

'{"user_id":1,"history_id":4757,"instance_slug":"ec2804ddef74c466f2a43e0afaa3ff6b"}'

然后,Looker 会针对同一查询生成以下 BigQuery 作业标签:

[{"value":"1","key":"looker-context-user_id"},

 {"value":"4757","key":"looker-context-history_id"},

 {"value":"ec2804ddef74c466f2a43e0afaa3ff6b","key":"looker-context-instance_slug"}]

功能支持

为了让 Looker 支持某些功能,您的数据库方言也必须支持这些功能。

Google BigQuery 标准 SQL

从 Looker 24.20 开始,Google BigQuery 标准 SQL 支持以下功能:

功能 是否支持?
支持级别
支持
Looker (Google Cloud Core)
对称汇总
派生表
永久性 SQL 派生表
永久性原生派生表
稳定视图
查询终止
基于 SQL 的转换
时区
SSL
小计
JDBC 其他参数
区分大小写
位置类型
列表类型
百分位
不同值百分位
SQL Runner 显示进程
SQL Runner 中的“Describe Table”命令
SQL Runner 显示索引
SQL Runner Select 10
SQL Runner 计数
SQL 说明
Oauth 凭据
上下文注释
连接池
HLL 草图
汇总认知度
增量 PDT
毫秒
微秒
具体化视图
近似计数不同

Google BigQuery 旧版 SQL

从 Looker 24.20 开始,Google BigQuery 旧版 SQL 支持以下功能:

功能 是否支持?
支持级别
支持
Looker (Google Cloud Core)
对称汇总
派生表
永久性 SQL 派生表
永久性原生派生表
稳定视图
查询终止
基于 SQL 的转换
时区
SSL
小计
JDBC 其他参数
区分大小写
位置类型
列表类型
百分位
不同值百分位
SQL Runner 显示进程
SQL Runner 中的“Describe Table”命令
SQL Runner 显示索引
SQL Runner Select 10
SQL Runner 计数
SQL 说明
Oauth 凭据
上下文注释
连接池
HLL 草图
汇总认知度
增量 PDT
毫秒
微秒
具体化视图
近似计数不同

后续步骤

将数据库连接到 Looker 后,请为用户配置登录选项