Databricks

加密网络流量

最佳做法是对 Looker 应用和数据库之间的网络流量进行加密。请考虑启用安全的数据库访问文档页面中所述的选项之一。

创建 Looker 用户

Looker 通过个人访问令牌向 Databricks 进行身份验证。按照 Databricks 文档中的说明,为 Databricks 用户创建个人访问令牌,以便在 Looker 中使用。

使用 GRANT 为此用户添加权限。

Looker 用户至少应具有 SELECTREAD_METADATA 权限。

GRANT SELECT ON DATABASE <YOUR_DATABASE> TO `<looker>@<your.databricks.com>`
GRANT READ_METADATA ON DATABASE <YOUR_DATABASE> TO `<looker>@<your.databricks.com>`

服务器信息

按照 Databricks 文档中的说明,找到 Databricks 集群的 HTTP 路径。在该页面上,我们称之为 <YOUR_HTTP_PATH>

设置永久性派生表

如需使用永久性派生表,请创建一个单独的数据库。

CREATE DATABASE <YOUR_SCRATCH_DATABASE>

这还需要获得额外的基于写入的用户权限。

GRANT SELECT CREATE MODIFY ON DATABASE <YOUR_SCRATCH_DATABASE> TO `<looker>@<your.databricks.com>`
GRANT READ_METADATA ON DATABASE <YOUR_SCRATCH_DATABASE> TO `<looker>@<your.databricks.com>`

创建 Looker 与数据库的连接

在 Looker 的管理部分中,选择连接,然后点击添加连接

填写连接详情。大多数设置对于大多数数据库方言都是通用的。如需了解详情,请参阅将 Looker 连接到您的数据库文档页面。下面介绍了一些设置:

  • 名称:指定连接的名称。您将以这种方式在 LookML 项目中引用关联。
  • 方言:指定方言 Databricks
  • 主机:指定 Databricks 工作区网址。例如 dbc-xxxxxxxx.cloud.databricks.com/
  • Port:指定数据库端口。默认值为 443。
  • 数据库:指定用于 Looker 查询的数据库的名称。默认值为 default
  • Catalog:对于启用了 Unity Catalog 的 Databricks 数据库,请指定用于 Looker 查询的目录的名称。如果您未指定目录,Looker 将仅访问默认目录中的架构。如需了解详情,请参阅Looker 与 Databricks Unity Catalog 的集成
  • Authentication:选择数据库账号OAuth
    • 使用数据库账号指定要用于连接到 Looker 的 Databricks 个人访问令牌(有关说明,请参阅创建 Looker 用户部分)。
      • 对于用户名,请输入值 token(请勿在此字段中输入 Databricks 用户的电子邮件地址)。
      • 对于密码,输入 Databricks 个人访问令牌。
    • 使用 OAuth 为连接配置 OAuth。如需了解详情,请参阅为 Databricks 连接配置 OAuth 部分。
  • 启用 PDT:使用此切换开关可启用永久性派生表。启用 PDT 后,Connection 窗口会显示其他 PDT 设置以及 PDT 替换部分。 注意:使用 OAuth 的 Databricks 连接不支持 PDT。
  • 临时数据库:输入要用于存储 PDT 的数据库。
  • PDT 构建器连接数上限:指定此连接上可能的并发 PDT 构建数量。将此值设置得过高可能会对查询时间产生负面影响。如需了解详情,请参阅将 Looker 连接到您的数据库文档页面。
  • 其他 JDBC 参数:添加任何其他 Spark JDBC 参数

  • 数据组和 PDT 维护时间表:一个 cron 表达式,用于指示 Looker 应在何时检查数据组和永久性派生表。如需详细了解此设置,请参阅数据组和 PDT 维护时间表文档。

  • SSL:选中此复选框以使用 SSL 连接。

  • 验证 SSL:选中此复选框以强制执行严格的 SSL 证书验证。

  • 每个节点的连接数上限:您可以将此设置最初保留为默认值。如需详细了解此设置,请参阅将 Looker 连接到数据库文档页面的每个节点的连接数上限部分。

  • 连接池超时:您可以将此设置最初保留为默认值。如需详细了解此设置,请参阅将 Looker 连接到数据库文档页面的连接池超时部分。

  • SQL Runner 预缓存:如需让 SQL Runner 不预加载表信息,仅在选择表时加载表信息,请取消选中此复选框。如需详细了解此设置,请参阅将 Looker 连接到数据库文档页面的 SQL Runner 预缓存部分。

  • 数据库时区:指定要在数据库中使用的时区。如果您不想进行时区转换,请将此字段留空。如需了解详情,请参阅使用时区设置文档页面。

点击测试以测试连接,并确保其配置正确无误。如果您看到可以连接,请按连接。这会运行其余的连接测试,以验证服务账号是否已正确设置并具有适当的角色。如需了解问题排查信息,请参阅测试数据库连接文档页面。

使用 Databricks Unity Catalog 的 Looker 功能

Looker 支持连接到启用了 Unity Catalog 的 Databricks 数据库。创建与数据库的 Looker 连接时,或者修改与 Databricks 数据库的现有 Looker 连接时,您可以在 Looker 连接窗口的 Catalog 字段中指定清单名称。

如果您的 Databricks 数据库已启用 Unity Catalog,您可以在 Looker 连接的 Catalog 字段中指定 Databricks 目录。指定 Databricks 目录后,Looker 会在以下情况下使用该目录:

  • 从数据库生成新的 LookML 项目时,Looker 会根据连接的已配置目录中的表创建项目文件。
  • 对于现有项目,在使用 Looker IDE 基于表创建视图时,Looker 只会根据连接的已配置目录中的表创建视图文件。
  • 使用 SQL Runner 时,您只能从连接的已配置目录中选择架构。

如果您的 Databricks 数据库已启用 Unity Catalog,并且 Looker 连接的 Catalog 字段中没有值,则大多数 Looker 功能只会访问默认目录中的架构,例如在以下情况下:

  • 从数据库生成新的 LookML 项目时,Looker 会根据 Unity 目录默认目录中的表创建项目文件。
  • 对于现有项目,使用 Looker IDE 根据表创建视图时,Looker 只能根据 Unity 目录默认目录中的表创建视图文件。
  • 使用 SQL Runner 时,您只能从 Unity 目录默认目录中选择架构。

为 Databricks 连接配置 OAuth

Looker 支持将 OAuth 用于 Databricks 连接,这意味着每个 Looker 用户都会在数据库中进行身份验证,并授权 Looker 使用其自己的 OAuth 用户账号在数据库上运行查询。

借助 OAuth,数据库管理员可以执行以下任务:

  • 审核哪些 Looker 用户正在针对数据库运行查询
  • 使用数据库级权限强制执行基于角色的访问权限控制
  • 为访问数据库的所有进程和操作使用 OAuth 令牌,而不是在多个位置嵌入数据库 ID 和密码
  • 直接通过数据库撤消给定用户的授权

对于使用 OAuth 的 Databricks 连接,用户必须在其 OAuth 令牌过期时定期重新登录。

对于数据库级 OAuth 连接,请注意以下事项:

  • 如果用户让其 OAuth 令牌过期,则用户拥有的所有 Looker 时间表或提醒都会受到影响。为防止这种情况,Looker 会在当前有效的 OAuth 令牌过期之前,向每个时间表和每个提醒的所有者发送一封通知电子邮件。Looker 会在令牌过期前 14 天、7 天和 1 天发送这些电子邮件通知。用户可以前往 Looker 用户页面,重新授权 Looker 访问数据库,以免其时间安排和提醒发生任何中断。有关详情,请参阅对用户账号设置进行个性化设置文档页面。
  • 由于使用 OAuth 的数据库连接是“按用户”的,因此缓存政策也是按用户的,而不仅仅是按查询。这意味着,当在缓存期内运行同一查询时,Looker 不会使用缓存的结果,而是仅当同一用户在缓存期间运行同一查询时才使用缓存的结果。如需详细了解缓存,请参阅缓存查询文档页面。
  • 不支持使用 OAuth 连接 Databricks 时使用永久性派生表 (PDT)
  • 当 Looker 管理员以其他用户身份使用 sudo 命令时,管理员将使用该用户的 OAuth 访问令牌。如果用户的访问令牌已过期,管理员将无法代表使用 sudo 命令的用户创建新令牌。如需了解如何使用 sudo 命令,请参阅用户文档页面。
  • 当用户使用 OAuth 从 Looker 登录 Databricks 时,Looker 不会显示明确的用户意见征求对话框。设置 Looker OAuth,即表示您明确同意 Looker 实例访问您的 Databricks 数据库。
  • 如需将 OAuth 用于 Databricks 连接,您必须拥有可用于 Looker 查询的 Databricks 用户服务主账号,并且您必须向用户和服务主账号提供 Looker 访问数据源以及在 Databricks 中执行所需操作所需的 Databricks 权限。

如需使用 OAuth 创建 Databricks 与 Looker 之间的连接,您必须执行以下一般步骤,这些步骤在以下部分中进行了详细介绍:

  1. 在 Databricks 中启用自定义 OAuth 应用
  2. 在 Looker 中配置连接

在 Databricks 中启用自定义 OAuth 应用

如需使用 OAuth 将 Looker 连接到 Databricks,您必须按照以下步骤将 Looker 作为 Databricks 数据库的自定义 OAuth 应用启用:

  1. 登录 Databricks 账号控制台
  2. 点击侧边栏中的设置图标。
  3. 点击设置窗口中的应用关联标签页。
  4. App Connections 标签页中,点击 Add connection
  5. 在 Databricks 添加连接对话框中输入以下值:

    • 应用名称:提供一个描述性名称,例如“Looker 集成”。
    • 重定向网址:输入 Databricks 在用户成功授权后将重定向到的 Looker 网址,请使用以下格式(将 example.looker.com 替换为 Looker 实例的网址):

      https://example.looker.com/external_oauth/redirect
      
    • 访问权限范围:选择 SQL 以允许 Looker 通过 SQL 查询数据。

    • 生成客户端密钥:启用此选项。

  6. 在 Databricks 的添加连接对话框中,点击添加

  7. 复制并安全地存储 Databricks 生成的客户端 ID客户端密钥

在 Databricks 数据库中注册 OAuth 应用最多可能需要 30 分钟才能处理完毕。如需了解详情,请参阅官方 Databricks 文档

在 Looker 中配置连接

在 Databricks 数据库上将 Looker 配置为自定义 OAuth 应用后,您可以配置使用 OAuth 的 Looker 与 Databricks 之间的连接。

  1. 在 Looker 的管理部分中,选择连接,然后点击添加连接
  2. 按照本页面的创建与数据库的 Looker 连接部分所述,填写连接详细信息。
  3. Authentication(身份验证)字段中,选择 OAuth 选项。
  4. 选择 OAuth 选项后,Looker 会显示 OAuth 客户端 IDOAuth 客户端密钥字段。对于这些值,请输入您在在 Databricks 中将 Looker 启用为自定义 OAuth 应用时由 Databricks 生成的客户端 ID客户端密钥
  5. 选择 Connections Settings(连接设置)页面底部的 Test(测试)按钮,以确保 Looker 可以成功建立 OAuth 流程并连接到您的 Databricks 实例。

功能支持

为了让 Looker 支持某些功能,您的数据库方言也必须支持这些功能。

从 Looker 24.16 开始,Databricks 支持以下功能:

特征 是否支持?
支持级别
支持
Looker (Google Cloud Core)
对称汇总
派生表
永久性 SQL 派生表
永久性原生派生表
稳定视图
查询终止
基于 SQL 的转换
时区
SSL
小计
JDBC 其他参数
区分大小写
位置类型
列表类型
百分位
不同百分位
SQL Runner 显示进程
SQL Runner 中的“Describe Table”命令
SQL Runner 显示索引
SQL Runner Select 10
SQL Runner 计数
SQL 说明
Oauth 凭据
上下文注释
连接池
HLL 素描
汇总认知度
增量 PDT
毫秒
微秒
具体化视图
非重复近似计数