圣母升天节

使用这些说明的方言

Cloudera Impala 分享了本页介绍的数据库设置要求。

配置 Looker 以连接到 Cloudera Impala

Looker 通过 JDBC 连接连接到任何数据库。默认情况下,在 Cloudera Impala 上,这是在端口 21050 上运行 impalad 守护程序的服务器。

在 Looker 的管理部分中,选择连接,然后点击添加连接

Looker 连接配置取决于正在使用的安全性:

连接到没有 Kerberos 或用户身份验证的集群

如需配置未使用 Kerberos 或用户身份验证的连接,请按以下步骤操作:

  1. 连接设置页面上,将用户名密码字段留空。(字段名称旁边的 * 表示这些字段是必填字段,但并非必填字段。)
  2. 其他 JDBC 参数字段中,输入 ;auth=noSasl

验证连接字符串

要验证日志文件中的 JDBC 连接字符串,请在 Looker Admin 面板中点击左侧菜单中的 Log。然后,按字词(例如 jdbcnoSasl)过滤日志。日志行可能如下所示:

jdbc connect using: jdbc:hive2://<HOSTNAME>/<DATABASE_NAME>;auth=noSasl

如需详细了解如何配置 Cloudera Impala 以使用 JDBC,请参阅 Cloudera 文档

连接到需要 LDAP 身份验证的集群

对于需要 LDAP 身份验证的集群(包括使用 Apache Sentry 和 Kerberos 的集群),在连接设置页面上,输入用户名密码(有权访问 Looker 将访问的架构)。

连接到受 Kerberos 保护,但未使用 Apache Sentry 的集群

Looker 分析师团队可能需要帮助您正确配置此功能。

通常情况下,使用 Cloudera 环境的 Kerberos 身份验证通过 Apache Sentry 处理。如需了解详情,请参阅 Cloudera 文档

如果您希望将 Looker 配置为使用 Kerberos 身份验证直接连接到 Cloudera Impala,请按照本页面中的步骤操作。

设置 Kerberos 客户端配置

首先要确保在 Looker 机器上安装多个软件并且存在多个文件。

Kerberos 客户端

尝试运行 kinit,验证 Kerberos 客户端是否已安装在 Looker 计算机上。如果不是,请安装 Kerberos 客户端的二进制文件。

例如,在 Redhat/CentOS 中,请运行以下命令:

sudo yum install krb5-workstation krb5-libs krb5-auth-dialog

Java 8

Java 8 必须安装在 Looker 机器以及 Looker 用户的 PATHJAVA_HOME 中。如有必要,请在 looker 目录中本地安装。

Java 加密扩展
  1. Oracle 网站下载并安装适用于 Java 8 的 Java Cryptography Extension (JCE)。

    • 找到 Java 安装的 jre/lib/security 目录。
    • 从此目录中移除以下 JAR 文件:local_policy.jarUS_export_policy.jar
    • 将这两个文件替换为 JCE Unlimited 强度法律政策文件下载中包含的 JAR 文件。

    在安装 JCE 之前,您可以使用 Java 8 之前的 Java 版本,但不建议这样做。

  2. 更新 ~looker/.bash_profile 中的 JAVA_HOMEPATH,使其指向正确安装的 Java 和 source ~/.bash_profile 或退出并再次登录。

  3. 使用 java -version 验证 Java 版本。

  4. 使用 echo $JAVA_HOME 验证 JAVA_HOME 环境变量。

gss-jaas.conf

looker 目录中创建一个 gss-jaas.conf 文件,其中包含以下内容:

com.sun.security.jgss.initiate {
    com.sun.security.auth.module.Krb5LoginModule required
    useTicketCache=true
    doNotPrompt=true;
};

如有必要,可以将 debug=true 添加到此文件中,如下所示:

com.sun.security.jgss.initiate {
    com.sun.security.auth.module.Krb5LoginModule required
    useTicketCache=true
    doNotPrompt=true
    debug=true;
};
krb5.conf

运行 Looker 的服务器还应具有有效的 krb5.conf 文件。默认情况下,此文件位于 /etc/krb5.conf。如果它位于其他位置,则必须在环境中指明(在 shell 环境中为 KRB5_CONFIG)。

您可能需要从其他 Kerberos 客户端计算机复制此代码。

lookerstart.cfg

looker 目录(包含 looker 启动脚本的同一个目录)中创建一个名为 lookerstart.cfg 且包含以下代码行的文件,以指向 gss-jaas.confkrb5.conf 文件:

  JAVAARGS="-Djava.security.auth.login.config=/path/to/gss-jaas.conf -Djavax.security.auth.useSubjectCredsOnly=false -Djava.security.krb5.conf=/etc/krb5.conf"
  LOOKERARGS=""

如果 krb5.conf 文件不在 /etc/krb5.conf 中,则还需要添加此变量:

  -Djava.security.krb5.conf=/path/to/krb5.conf

如需进行调试,请添加以下变量:

  -Dsun.security.jgss.debug=true -Dsun.security.krb5.debug=true

然后使用 ./looker restart 重启 Looker。

使用 Kerberos 进行身份验证

用户身份验证
  1. 如果 krb5.conf 不在 /etc/ 中,请使用环境变量 KRB5_CONFIG 指示其位置。

  2. 运行命令 klist 以确保 Kerberos 票据缓存中有有效的票据。

  3. 如果没有票券,请运行 kinit username@REALMkinit username 来创建票券。

  4. 与 Looker 一起使用的帐号可能属于无头帐号,因此您可以从 Kerberos 获取 keytab 文件,以存储凭据以供长期使用。使用 kinit -k -t looker_user.keytab username@REALM 等命令获取 Kerberos 票据。

自动续订票

设置一个频繁运行的 Cron 作业,以将有效票证保留在 Kerberos 票据缓存中。运行频率取决于集群的配置。klist 应指明票券何时到期。

设置 Looker 连接

在 Looker 的管理部分中,选择连接,然后点击添加连接

填写连接详情,如下所示(请参阅将 Looker 连接到数据库文档页面):

  • 名称:连接的名称。这将在 LookML 模型中引用连接方式。
  • Dialect:Cloudera Impala 或 Cloudera Impala 3.1+。
  • 主机:主机名。
  • 端口:数据库端口(默认为 21050)。
  • 数据库:要建模的默认架构/数据库。如果没有为表指定数据库,那么系统会假定没有数据库。
  • 用户名:留空。
  • Password(密码):将此字段留空。
  • 启用 PDT:使用此切换开关可以启用永久性派生表。启用 PDT 后,Connection 窗口会显示其他 PDT 设置和 PDT Override 部分。
  • 临时数据库:用于存储 PDT 的临时架构/数据库。此操作必须预先创建。
  • 更多 JDBC 参数:JDBC 字符串的其他参数。 请在此处指定 Kerberos 主帐号,例如 ;principal=impala/impala.company.com@REALM。由三部分组成的主帐号是标准主帐号。第一个 (impala) 通常是服务的名称,最后一个 (REALM) 通常是服务区域。
  • SSL:选中即可使用 SSL 连接。 如果您的 SSL 证书不是获得广泛认可的证书授权机构颁发的,且您使用的是自定义证书,则需要:
    • 将证书文件复制到 Looker 服务器。此方式仅适用于客户托管的 Looker 部署。
    • 将以下参数添加到上述其他 JDBC 参数字段中:
  sslTrustStore=/path/to/your/trust_store.jks;trustStorePassword=yourpassword

请参阅 Cloudera 文档,详细了解如何为 Impala 数据库构建正确的 JDBC 字符串。

  • 数据库时区:存储在数据库中的数据的时区。通常可以留空或设置为 UTC

最佳做法是将服务器名称(在此示例中为 impala.company.com)设为服务器的规范名称,以及其 IP 地址的 DNS 反向查找结果即为该名称。但是,服务器名称应为 Kerberos 网域控制器中列出的任何名称:

  nslookup servername  # get canonical server name and IP address

  nslookup ipaddress  # get the canonical name back

有时,服务器名称被设置为主机名,而不是完全限定的域名。在这种情况下,可能需要修改 /etc/hosts/etc/nsswitch.conf 文件,以确保反向查找能够按预期解析。

测试连接,确保已正确配置。

调试

资源

备注

连接到 PDT 的临时架构的用户必须具有读取/写入权限。

参考文档

如需了解详情,请参阅 Cloudera 文档中的配置 Impala 以使用 JDBC 部分。

功能支持

为了让 Looker 支持某些功能,您的数据库方言也必须支持这些功能。

圣母升天节

自 Looker 23.8 起,Cloudera Impala 支持以下功能:

功能 是否支持?
支持级别
支持
Looker (Google Cloud Core)
对称聚合
派生表
永久性 SQL 派生表
永久性原生派生表
稳定版观看次数
查询终止
基于 SQL 的数据透视
时区
SSL
小计
JDBC 附加参数
区分大小写
位置类型
列表类型
百分位
不同百分位
SQL Runner 显示进程
SQL Runner 描述表
SQL Runner 显示索引
SQL Runner 选择 10
SQL 运行程序计数
SQL 说明
OAuth 凭据
上下文评论
连接池
HLL 素描
总体认知度
PDT 增幅
毫秒
微秒
具体化视图
唯一计数

Cloudera Impala 3.1 及更高版本

自 Looker 23.8 起,Cloudera Impala 3.1 及更高版本支持以下功能:

功能 是否支持?
支持级别
支持
Looker (Google Cloud Core)
对称聚合
派生表
永久性 SQL 派生表
永久性原生派生表
稳定版观看次数
查询终止
基于 SQL 的数据透视
时区
SSL
小计
JDBC 附加参数
区分大小写
位置类型
列表类型
百分位
不同百分位
SQL Runner 显示进程
SQL Runner 描述表
SQL Runner 显示索引
SQL Runner 选择 10
SQL 运行程序计数
SQL 说明
OAuth 凭据
上下文评论
连接池
HLL 素描
总体认知度
PDT 增幅
毫秒
微秒
具体化视图
唯一计数

后续步骤

将数据库连接到 Looker 后,为用户配置登录选项