本页面介绍了如何将 Looker 连接到 Apache Spark 3。
Looker 通过与 Spark Thrift 服务器的 JDBC 连接连接到 Apache Spark 3+。
对网络流量进行加密
最佳做法是对 Looker 应用和数据库之间的网络流量进行加密。请考虑启用安全的数据库访问文档页面中所述的选项之一。
创建 Looker 与数据库的连接
在 Looker 的管理部分中，选择连接，然后点击添加连接。
填写连接详情。大多数设置对于大多数数据库方言都是通用的。如需了解详情，请参阅将 Looker 连接到数据库文档页面。部分设置如下所述：
- 名称：连接的名称。在 LookML 模型中，将以这种方式引用该连接。
- 方言：选择 Apache Spark 3+。
- 主机：Thrift 服务器主机。
- 端口：Thrift 服务器端口（默认为 10000）。
- 数据库：要建模的默认架构/数据库。如果未为表指定数据库，则系统会假定为该数据库。
- 用户名：Looker 将作为其身份验证的用户。
- 密码：Looker 用户的可选密码。
- 启用 PDT：使用此切换开关可启用永久性派生表。启用 PDT 后，连接窗口会显示其他 PDT 设置和 PDT 替换项部分。
- 临时数据库：用于存储 PDT 的临时架构/数据库。必须使用
CREATE SCHEMA looker_scratch;等语句事先创建该对象。 - 其他 JDBC 参数：在此处添加任何其他 Hive JDBC 参数，例如：
;spark.sql.inMemoryColumnarStorage.compressed=true;auth=noSasl
- SSL：请勿选中此选项。
- 数据库时区：存储在 Spark 中的数据的时区。通常，此字段可以留空或设置为 UTC。
- 查询时区：用于显示在 Looker 中查询的数据的时区。
如需验证连接是否成功，请点击测试。如需了解问题排查信息，请参阅测试数据库连接文档页面。
如需保存这些设置，请点击连接。
功能支持
为了让 Looker 支持某些功能，您的数据库方言也必须支持这些功能。
Apache Spark 3 及更高版本
从 Looker 24.16 开始，Apache Spark 3+ 支持以下功能：
| 特征 | 是否支持？ |
|---|---|
| 支持级别 | 支持 |
| Looker (Google Cloud Core) | 是 |
| 对称汇总 | 是 |
| 派生表 | 是 |
| 永久性 SQL 派生表 | 是 |
| 永久性原生派生表 | 是 |
| 稳定视图 | 是 |
| 查询终止 | 是 |
| 基于 SQL 的转换 | 是 |
| 时区 | 是 |
| SSL | 是 |
| 小计 | 是 |
| JDBC 其他参数 | 是 |
| 区分大小写 | 是 |
| 位置类型 | 是 |
| 列表类型 | 是 |
| 百分位 | 是 |
| 不同值百分位 | 否 |
| SQL Runner 显示进程 | 否 |
| SQL Runner 中的“Describe Table”命令 | 是 |
| SQL Runner 显示索引 | 否 |
| SQL Runner 选择 10 | 是 |
| SQL 运行程序数量 | 是 |
| SQL 说明 | 是 |
| OAuth 凭据 | 否 |
| 上下文注释 | 是 |
| 连接池 | 否 |
| HLL 草图 | 否 |
| 聚合感知 | 是 |
| 增量 PDT | 否 |
| 毫秒 | 是 |
| 微秒 | 是 |
| 具体化视图 | 否 |
| 近似计数不同 | 否 |
后续步骤
创建连接后，设置身份验证选项。