安装 Looker 应用

本页介绍了如何为客户托管的部署安装 Looker 应用。

托管 Looker 应用与数据所在位置无关;数据始终保留在数据库中,并且不会被复制到 Looker 实例。

部署规范

如果您要在未连接到互联网的网络上运行 Looker,则可能需要设置代理服务器以与 Looker 许可服务器通信,或者使用仅进行 Web 调用的无服务器 Web 服务(例如 BigQuery)。

在满足以下最低要求的专用机器上安装 Looker 应用:

  • 1.2 GHz CPU;Looker 建议使用两个或更多核心。
  • 8 GB 可用 RAM。
  • 10 GB 可用磁盘空间。
  • 2 GB 交换文件空间。
  • Linux。我们使用 Ubuntu Linux(LTS 版本)进行内部 Looker 托管,建议不偏好 Linux 的客户使用。不过,我们支持在所有主要企业 Linux 发行版的发布版本(包括 RedHat、CentOS 和 Amazon Linux)上使用 Looker。只有采用 x64 指令集的 Linux 版本支持 Looker。
  • Java OpenJDK 11.0.12 或 HotSpot 1.8 更新 161 及更高版本。Looker 使用 OpenJDK(11 版)来提升性能和内存用量。Looker 建议使用 JDK(而非 JRE),以便利用额外的问题排查工具。此外,Looker 建议您在有新的 Java 更新发布时及时进行迁移。目前不支持其他版本的 Java、Oracle JDK 和 OpenJDK。

  • 系统中必须存在 libssllibcrypt.so

  • 您必须允许通过 TCP 端口 9999 向 Looker 实例发送入站流量。

  • 如果用户需要 API 访问权限,您必须允许通过 TCP 端口 19999 传入 Looker 实例的入站流量。

  • 如果 Looker 是从 AWS VPC 专用网络连接到 AWS Redshift,您必须将 MTU 设置为 1500。如需详细了解此设置,请参阅这篇 Amazon Web Services 文章配置实例的 MTU 部分。如果 Looker 在数据库连接测试期间检测到 MTU 设置大于 1500,则会显示以下错误:

    MTU of network interface eth0 is too large (> 1500).
    If Looker instance and Redshift cluster are within the same VPC,
    this warning can be ignored.
    
  • 以下 TCP keepalive 设置。若要在重新启动后保留下来,应在 /etc/sysctl.conf/etc/sysctl.d 目录下的文件中设置以下内容:

    net.ipv4.tcp_keepalive_time=200
    net.ipv4.tcp_keepalive_intvl=200
    net.ipv4.tcp_keepalive_probes=5
    
  • 名为 looker 的群组中有名为 looker 的用户,用于运行 Looker 应用。

  • 针对 4096 或更高版本的 looker 用户的 ulimit。为此,请将以下几行代码添加到 /etc/security/limits.conf 中:

    looker     soft     nofile     4096
    looker     hard     nofile     4096
    
  • 通过 NTP 或等效协议进行时间同步。

  • 不得使用 noexec 选项装载 /tmp 文件夹。

  • looker 主目录不应装载到 NFS 卷上。

  • 建议将服务器的时区设置为 UTC,但不作强制要求。

  • 对于 Looker 23.6 及更高版本,需要 Git 2.39.1 或更高版本。

  • Netcat 有助于排查网络连接问题,不过这并非强制性要求。例如,如需在基于 Ubuntu 的服务器上安装 Netcat,常用的命令是:

    sudo apt-get install netcat
    
  • 如有需要,您可以设置代理服务器来处理 Looker 需要能够向本地主机上的“core”发出的 HTTP(S) 请求。如需与 Looker 本地代理服务器通信,您需要在 lookerstart.cfg 中添加一些特殊参数:添加 http.nonProxyHosts=localhost 以启用对 Looker localhost 的访问权限,而无需通过代理。

为避免维护和资源冲突,您不应使用 Looker 服务器托管其他应用。

启用 ntpd 或 chronyd

NTP 是“Network Time Protocol”(网络时间协议)的首字母缩写。它可让主机的系统时钟始终保持 Looker 正常运行所需的正确时间。只要时间保持同步,Looker 无需使用任何特定的时间同步软件。无需运行 NTP 服务器;只需要 NTP 客户端您可以将 NTP 替换成 chronyd。

有关启用 ntpd 或 chronyd 的信息,请参阅操作系统供应商的文档。

创建加密密钥

Looker 使用 AES-256 伽罗瓦/计数器模式 (GCM) 加密来加密内部存储的敏感数据,包括:

  • Looker 内部数据库的备份
  • 数据库和服务连接信息
  • 用户身份验证信息
  • 用户属性值
  • 已缓存或准备好传送的客户数据

如需查看 Looker 加密的数据的详细列表,请打开支持请求

数据使用唯一数据密钥进行加密,并包含已签名和版本编号的加密信封,以确保验证。此模式需要使用外部客户主密钥 (CMK)。CMK 用于派生、加密和解密密钥加密密钥 (KEK),而 KEK 又用于派生、加密和解密数据密钥。

加密操作仅适用于 Looker 内部数据库和缓存。客户数据库不会以任何方式受到 Looker 加密的影响。此外,只有静态数据(存储在磁盘上的数据)才会采用这种方式加密。

客户托管的安装可以使用自己的 AWS KMS 账号或自己的自定义密钥管理系统。所有数据密钥和 KEK 均已加密,并在客户托管的 Looker 安装中内部使用。如果您不使用 AWS KMS,则应将外部 CMK 存储在安全且永久的位置!在加密内部数据库后丢失 CMK,可能会导致实例丢失。

如果您使用的是 AWS KMS

如果您使用的是 AWS KMS,请使用 AWS 管理控制台或 API 创建 CMK

创建 CMK 后,Looker 建议您为 CMK 创建新的 IAM 角色,并将其附加到 Looker 实例

以下示例展示了一个 IAM 角色,其中包含您的 CMK 所需的最低权限:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Sid": "VisualEditor0",
            "Effect": "Allow",
            "Action": "kms:GenerateRandom",
            "Resource": "*"
        },
        {
            "Sid": "VisualEditor1",
            "Effect": "Allow",
            "Action": [
                "kms:Decrypt",
                "kms:Encrypt",
                "kms:Generate*",
            ],
            "Resource": "arn:aws:kms:*:*:key/*"
        }
    ]
}

创建 CMK 和新的 IAM 角色后,将 AWS_REGION 环境变量设置为您的 AWS 区域,并将 LKR_AWS_CMK 环境变量设置为 CMK 的别名:

export AWS_REGION=<AWS_region>
export LKR_AWS_CMK=alias/<CMK_alias>

(可选)您还可以设置 LKR_AWS_CMK_EC 环境变量,以设置自定义 AWS 加密上下文。如果未设置此环境变量,Looker 将使用默认加密上下文,即字符串 Looker_Encryption_Context

export LKR_AWS_CMK_EC=<My_Encryption_Context>

如果您未使用 AWS KMS

如果您不使用 AWS KMS,请生成一个 Base64 格式的 32 字节 CMK。您可以将 CMK 存储在环境变量或文件中:

  • 如需生成 CMK 并将其存储在环境变量中,您可以使用以下命令生成 CMK:

    openssl rand -base64 32
    

    生成 CMK 后,请复制该 CMK 并使用以下命令将 CMK 存储在 LKR_MASTER_KEY_ENV 环境变量中(其中 <CMK_value> 是您使用上一条命令生成的 CMK):

    export LKR_MASTER_KEY_ENV=<CMK_value>
    
  • 如需生成 CMK 并将其存储在文件中,您可以使用以下命令(其中 <path_to_key_file> 是存储 CMK 的路径和文件名):

    openssl rand -base64 32 > <path_to_key_file>
    

    生成 CMK 文件后,将密钥文件权限设为当前用户只读:

    chmod 0400 <path_to_key_file>
    

生成 CMK 后,请务必先将其存储在安全的永久位置,然后再继续操作!在对内部数据库进行加密后丢失 CMK 可能会导致实例丢失。

生成并存储 CMK 后,请设置 LKR_MASTER_KEY_ENV 环境变量:

  • 如果您将 CMK 存储在环境变量中,请将 LKR_MASTER_KEY_ENV 环境变量设置为 CMK 的值:

    export LKR_MASTER_KEY_ENV=<CMK_value>
    
  • 如果您要将 CMK 存储在文件中,请将 LKR_MASTER_KEY_FILE 环境变量设置为 CMK 文件的路径:

    export LKR_MASTER_KEY_FILE=<path_to_key_file>
    

生成 CMK 后,请务必先将其存储在安全的永久位置,然后再继续操作!在加密内部数据库后丢失 CMK,可能会导致实例丢失。

安装 Looker 应用

  1. 创建“looker”群组。

    sudo groupadd looker
    
  2. 创建用户 looker 及其主目录。

    sudo useradd -m  -g looker  looker
    
  3. 切换到 looker 用户;不要以 root 身份运行 Looker

    sudo su - looker
    
  4. 在主目录中创建 looker 子目录。

    mkdir ~/looker
    
  5. 切换到 looker 子目录。

    cd ~/looker
    
  6. 确保您位于正确的目录。

    pwd
    

    如果您的用户目录位于 /home 下,则此命令的输出应为 /home/looker/looker

  7. 通过下载 Looker JAR 文件文档页面中的任一方法下载所选的 Looker JAR 文件。确保这两个 JAR 文件的版本相同;使用不同版本的核心 JAR 文件和依赖项 JAR 文件可能会导致 Looker 安装不稳定。

  8. looker-open-source GitHub 代码库中下载最新的启动脚本。如果您希望 Looker 在系统启动时运行,可以下载 looker_init 脚本,并同时使用 systemdinit 脚本选项。

  9. 将启动脚本(名为 looker)和 Looker JAR 文件(名为 looker-x.x.x.jarlooker-dependencies-x.x.x.jar,其中 x.x.x 是版本号)移至新的 ~/looker 目录。

  10. looker-x.x.x.jar 重命名为 looker.jar,并将 looker-dependencies-x.x.x.jar 重命名为 looker-dependencies.jar

  11. 启动脚本会自动确定要分配给 Looker 的 Java 内存量。如果您想手动自定义此值,请参阅推荐的 Java 内存设置文档页面了解详情。

  12. 将 Looker 启动脚本设为可执行(将权限设置为 0750)。

    chmod 0750 looker
    
  13. looker 用户身份从 Shell 启动 Looker 进程。

    ./looker start
    
  14. 如需获取启动标志方面的帮助,请使用:

    java -jar looker.jar --help
    

    或者,如需查看启动命令帮助,请使用以下命令:

    java -jar looker.jar help
    
  15. 打开浏览器,访问 https://hostname:9999,其中 hostname 是运行 Looker 的主机的 DNS 名称。

    您应在网址中使用 https,这会创建您需要绕过的安全警告。该警告将持续有效,直到服务器上安装了有效的 SSL 证书。

  16. 输入从 Looker 分析师处获取的许可密钥。

  17. 输入姓名、电子邮件地址和密码,创建您的第一个账号。

创建 DNS 记录

为服务器添加 looker.[yourdomain].com DNS 记录。此步骤并非强制性要求,但建议您执行此操作。

自动部署 Looker

您可以使用 Ansible 或 Chef 等配置管理工具部署 Looker。如需查看用于自动部署的 Ansible 角色示例,请参阅配置管理工具文档页面。

Hypervisor 调优

Looker 以 Java 虚拟机的形式运行。如果您的 Looker 实例位于 VMware 客户机上,您可能需要进行一些性能调整。请参阅 VMware Java 最佳实践指南

在其他虚拟化平台上,从 Hypervisor 预留 Looker 主机的内存可能会提升性能。在 Amazon EC2 上无法控制此设置;不过,对于其他供应商,您应参阅其文档了解详情。

设置可选的 MySQL 后端数据库

默认情况下,Looker 使用 HyperSQL 内存中数据库来存储其配置、用户和其他数据。但是,您可以使用外部 MySQL 数据库来存储 Looker 内部信息。如需了解如何配置和优化 MySQL 后端数据库,请参阅迁移到 MySQL 文档页面。

后续步骤

安装 Looker 后,您就可以配置 Looker 启动选项了。