Databricks

加密网络流量

最佳做法是对 Looker 应用和数据库之间的网络流量进行加密。请考虑启用安全的数据库访问文档页面中所述的选项之一。

创建 Looker 用户

Looker 通过个人访问令牌向 Databricks 进行身份验证。按照 Databricks 文档中的说明，为 Databricks 用户创建个人访问令牌，以便在 Looker 中使用。

使用 GRANT 为此用户添加权限。

Looker 用户至少应具有 SELECT 和 READ_METADATA 权限。

GRANT SELECT ON DATABASE <YOUR_DATABASE> TO `<looker>@<your.databricks.com>`
GRANT READ_METADATA ON DATABASE <YOUR_DATABASE> TO `<looker>@<your.databricks.com>`

服务器信息

按照 Databricks 文档中的说明，找到 Databricks 集群的 HTTP 路径。在该页面上，我们称之为 <YOUR_HTTP_PATH>。

设置永久性派生表

如需使用永久性派生表，请创建一个单独的数据库。

CREATE DATABASE <YOUR_SCRATCH_DATABASE>

这还需要获得额外的基于写入的用户权限。

GRANT SELECT CREATE MODIFY ON DATABASE <YOUR_SCRATCH_DATABASE> TO `<looker>@<your.databricks.com>`
GRANT READ_METADATA ON DATABASE <YOUR_SCRATCH_DATABASE> TO `<looker>@<your.databricks.com>`

创建 Looker 与数据库的连接

在 Looker 的管理部分中，选择连接，然后点击添加连接。

填写连接详情。大多数设置对于大多数数据库方言都是通用的。如需了解详情，请参阅将 Looker 连接到您的数据库文档页面。下面介绍了一些设置：

  • 名称：指定连接的名称。您将以这种方式在 LookML 项目中引用关联。
  • 方言：指定方言 Databricks。
  • 主机：指定 Databricks 工作区网址。例如 dbc-xxxxxxxx.cloud.databricks.com/。
  • Port：指定数据库端口。默认值为 443。
  • 数据库：指定用于 Looker 查询的数据库的名称。默认值为 default。
  • Catalog：对于启用了 Unity Catalog 的 Databricks 数据库，请指定用于 Looker 查询的目录的名称。如果您未指定目录，Looker 将仅访问默认目录中的架构。如需了解详情，请参阅Looker 与 Databricks Unity Catalog 的集成。
  • Authentication：选择数据库账号或 OAuth：
    • 使用数据库账号指定要用于连接到 Looker 的 Databricks 个人访问令牌（有关说明，请参阅创建 Looker 用户部分）。
      • 对于用户名，请输入值 token（请勿在此字段中输入 Databricks 用户的电子邮件地址）。
      • 对于密码，输入 Databricks 个人访问令牌。
    • 使用 OAuth 为连接配置 OAuth。如需了解详情，请参阅为 Databricks 连接配置 OAuth 部分。
  • 启用 PDT：使用此切换开关可启用永久性派生表。启用 PDT 后，Connection 窗口会显示其他 PDT 设置以及 PDT 替换部分。 注意：使用 OAuth 的 Databricks 连接不支持 PDT。
  • 临时数据库：输入要用于存储 PDT 的数据库。
  • PDT 构建器连接数上限：指定此连接上可能的并发 PDT 构建数量。将此值设置得过高可能会对查询时间产生负面影响。如需了解详情，请参阅将 Looker 连接到您的数据库文档页面。

  • 其他 JDBC 参数：添加任何其他 Spark JDBC 参数。

  • 数据组和 PDT 维护时间表：一个 cron 表达式，用于指示 Looker 应在何时检查数据组和永久性派生表。如需详细了解此设置，请参阅数据组和 PDT 维护时间表文档。

  • SSL：选中此复选框以使用 SSL 连接。

  • 验证 SSL：选中此复选框以强制执行严格的 SSL 证书验证。

  • 每个节点的连接数上限：您可以将此设置最初保留为默认值。如需详细了解此设置，请参阅将 Looker 连接到数据库文档页面的每个节点的连接数上限部分。

  • 连接池超时：您可以将此设置最初保留为默认值。如需详细了解此设置，请参阅将 Looker 连接到数据库文档页面的连接池超时部分。

  • SQL Runner 预缓存：如需让 SQL Runner 不预加载表信息，仅在选择表时加载表信息，请取消选中此复选框。如需详细了解此设置，请参阅将 Looker 连接到数据库文档页面的 SQL Runner 预缓存部分。

  • 数据库时区：指定要在数据库中使用的时区。如果您不想进行时区转换，请将此字段留空。如需了解详情，请参阅使用时区设置文档页面。

点击测试以测试连接，并确保其配置正确无误。如果您看到可以连接，请按连接。这会运行其余的连接测试，以验证服务账号是否已正确设置并具有适当的角色。如需了解问题排查信息，请参阅测试数据库连接文档页面。

使用 Databricks Unity Catalog 的 Looker 功能

Looker 支持连接到启用了 Unity Catalog 的 Databricks 数据库。创建与数据库的 Looker 连接时，或者修改与 Databricks 数据库的现有 Looker 连接时，您可以在 Looker 连接窗口的 Catalog 字段中指定清单名称。

如果您的 Databricks 数据库已启用 Unity Catalog，您可以在 Looker 连接的 Catalog 字段中指定 Databricks 目录。指定 Databricks 目录后，Looker 会在以下情况下使用该目录：

  • 从数据库生成新的 LookML 项目时，Looker 会根据连接的已配置目录中的表创建项目文件。
  • 对于现有项目，在使用 Looker IDE 基于表创建视图时，Looker 只会根据连接的已配置目录中的表创建视图文件。
  • 使用 SQL Runner 时，您只能从连接的已配置目录中选择架构。

如果您的 Databricks 数据库已启用 Unity Catalog，并且 Looker 连接的 Catalog 字段中没有值，则大多数 Looker 功能只会访问默认目录中的架构，例如在以下情况下：

  • 从数据库生成新的 LookML 项目时，Looker 会根据 Unity 目录默认目录中的表创建项目文件。
  • 对于现有项目，使用 Looker IDE 根据表创建视图时，Looker 只能根据 Unity 目录默认目录中的表创建视图文件。
  • 使用 SQL Runner 时，您只能从 Unity 目录默认目录中选择架构。

为 Databricks 连接配置 OAuth

Looker 支持将 OAuth 用于 Databricks 连接，这意味着每个 Looker 用户都会在数据库中进行身份验证，并授权 Looker 使用其自己的 OAuth 用户账号在数据库上运行查询。

借助 OAuth，数据库管理员可以执行以下任务：

  • 审核哪些 Looker 用户正在针对数据库运行查询
  • 使用数据库级权限强制执行基于角色的访问权限控制
  • 为访问数据库的所有进程和操作使用 OAuth 令牌，而不是在多个位置嵌入数据库 ID 和密码
  • 直接通过数据库撤消给定用户的授权

对于使用 OAuth 的 Databricks 连接，用户必须在其 OAuth 令牌过期时定期重新登录。

对于数据库级 OAuth 连接，请注意以下事项：

  • 如果用户让其 OAuth 令牌过期，则用户拥有的所有 Looker 时间表或提醒都会受到影响。为防止这种情况，Looker 会在当前有效的 OAuth 令牌过期之前，向每个时间表和每个提醒的所有者发送一封通知电子邮件。Looker 会在令牌过期前 14 天、7 天和 1 天发送这些电子邮件通知。用户可以前往 Looker 用户页面，重新授权 Looker 访问数据库，以免其时间安排和提醒发生任何中断。有关详情，请参阅对用户账号设置进行个性化设置文档页面。
  • 由于使用 OAuth 的数据库连接是“按用户”的，因此缓存政策也是按用户的，而不仅仅是按查询。这意味着，当在缓存期内运行同一查询时，Looker 不会使用缓存的结果，而是仅当同一用户在缓存期间运行同一查询时才使用缓存的结果。如需详细了解缓存，请参阅缓存查询文档页面。
  • 不支持使用 OAuth 连接 Databricks 时使用永久性派生表 (PDT)。
  • 当 Looker 管理员以其他用户身份使用 sudo 命令时，管理员将使用该用户的 OAuth 访问令牌。如果用户的访问令牌已过期，管理员将无法代表使用 sudo 命令的用户创建新令牌。如需了解如何使用 sudo 命令，请参阅用户文档页面。
  • 当用户使用 OAuth 从 Looker 登录 Databricks 时，Looker 不会显示明确的用户意见征求对话框。设置 Looker OAuth，即表示您明确同意 Looker 实例访问您的 Databricks 数据库。
  • 如需将 OAuth 用于 Databricks 连接，您必须拥有可用于 Looker 查询的 Databricks 用户或服务主账号，并且您必须向用户和服务主账号提供 Looker 访问数据源以及在 Databricks 中执行所需操作所需的 Databricks 权限。

如需使用 OAuth 创建 Databricks 与 Looker 之间的连接，您必须执行以下一般步骤，这些步骤在以下部分中进行了详细介绍：

  1. 在 Databricks 中启用自定义 OAuth 应用
  2. 在 Looker 中配置连接

在 Databricks 中启用自定义 OAuth 应用

如需使用 OAuth 将 Looker 连接到 Databricks，您必须按照以下步骤将 Looker 作为 Databricks 数据库的自定义 OAuth 应用启用：

  1. 登录 Databricks 账号控制台。
  2. 点击侧边栏中的设置图标。
  3. 点击设置窗口中的应用关联标签页。
  4. 在 App Connections 标签页中，点击 Add connection。

  5. 在 Databricks 添加连接对话框中输入以下值：

    • 应用名称：提供一个描述性名称，例如“Looker 集成”。

    • 重定向网址：输入 Databricks 在用户成功授权后将重定向到的 Looker 网址，请使用以下格式（将 example.looker.com 替换为 Looker 实例的网址）：

      https://example.looker.com/external_oauth/redirect

    • 访问权限范围：选择 SQL 以允许 Looker 通过 SQL 查询数据。

    • 生成客户端密钥：启用此选项。

  6. 在 Databricks 的添加连接对话框中，点击添加。

  7. 复制并安全地存储 Databricks 生成的客户端 ID 和客户端密钥。

在 Databricks 数据库中注册 OAuth 应用最多可能需要 30 分钟才能处理完毕。如需了解详情，请参阅官方 Databricks 文档。

在 Looker 中配置连接

在 Databricks 数据库上将 Looker 配置为自定义 OAuth 应用后，您可以配置使用 OAuth 的 Looker 与 Databricks 之间的连接。

  1. 在 Looker 的管理部分中，选择连接，然后点击添加连接。
  2. 按照本页面的创建与数据库的 Looker 连接部分所述，填写连接详细信息。
  3. 在 Authentication（身份验证）字段中，选择 OAuth 选项。
  4. 选择 OAuth 选项后，Looker 会显示 OAuth 客户端 ID 和 OAuth 客户端密钥字段。对于这些值，请输入您在在 Databricks 中将 Looker 启用为自定义 OAuth 应用时由 Databricks 生成的客户端 ID 和客户端密钥。
  5. 选择 Connections Settings（连接设置）页面底部的 Test（测试）按钮，以确保 Looker 可以成功建立 OAuth 流程并连接到您的 Databricks 实例。

功能支持

为了让 Looker 支持某些功能，您的数据库方言也必须支持这些功能。

从 Looker 24.16 开始，Databricks 支持以下功能：

特征 是否支持？
支持级别
支持
Looker (Google Cloud Core)
是
对称汇总
是
派生表
是
永久性 SQL 派生表
是
永久性原生派生表
是
稳定视图
是
查询终止
是
基于 SQL 的转换
是
时区
是
SSL
是
小计
是
JDBC 其他参数
是
区分大小写
是
位置类型
是
列表类型
是
百分位
是
不同百分位
否
SQL Runner 显示进程
否
SQL Runner 中的“Describe Table”命令
是
SQL Runner 显示索引
否
SQL Runner Select 10
是
SQL Runner 计数
是
SQL 说明
是
Oauth 凭据
是
上下文注释
是
连接池
否
HLL 素描
否
汇总认知度
是
增量 PDT
是
毫秒
是
微秒
是
具体化视图
否
非重复近似计数
否