本教程介绍了为客户托管实例创建集群式 Looker 配置的推荐方法。
概览
客户托管的 Looker 部署可以运行单节点或集群:
- 单节点 Looker 应用(默认配置)的所有服务都运行在单个服务器上。
- 集群式 Looker 配置是一种更复杂的配置,通常涉及数据库服务器、负载平衡器和运行 Looker 应用的多个服务器。集群 Looker 应用中的每个节点都是运行单个 Looker 实例的服务器。
组织希望以集群形式运行 Looker 的主要原因有两个:
- 负载均衡
- 提高了可用性和故障切换能力
根据伸缩问题,聚簇 Looker 可能无法提供解决方案。例如,如果少量大型查询占用了大量系统内存,唯一的解决方案是增加 Looker 进程的可用内存。
负载均衡替代方案
在对 Looker 进行负载均衡之前,请考虑增加运行 Looker 的单个服务器的内存,并可能增加 CPU 数量。Looker 建议为内存和 CPU 利用率设置详细的性能监控,以确保 Looker 服务器的大小适合其工作负载。
大型查询需要更多内存才能获得更好的性能。当许多用户运行小型查询时,聚簇可以提高性能。
对于最多有 50 位用户且 Looker 使用频率较低的配置,Looker 建议运行相当于大型 AWS EC2 实例(M4.large:8 GB RAM、2 个 CPU 核心)的单个服务器。对于用户较多或有许多活跃的高级用户的配置,请注意 CPU 是否出现峰值,或者用户是否注意到应用运行缓慢。如果是,请将 Looker 迁移到更大的服务器,或运行集群式 Looker 配置。
提高了可用性/故障切换能力
在集群环境中运行 Looker 可在发生服务中断时减少停机时间。如果 Looker API 用于核心业务系统,或者 Looker 嵌入到面向客户的产品中,则高可用性尤为重要。
在集群 Looker 配置中,代理服务器或负载均衡器会在确定某个节点出现故障时重新路由流量。Looker 会自动处理离开和加入集群的节点。
必需组件
对于集群式 Looker 配置,需要以下组件:
- MySQL 应用数据库
- Looker 节点(运行 Looker Java 进程的服务器)
- 负载均衡器
- 共享文件系统
- Looker 应用 JAR 文件的正确版本
下图展示了各组件之间的互动方式。从宏观层面来看,负载均衡器可在集群 Looker 节点之间分配网络流量。每个节点都与共享的 MySQL 应用数据库、共享的存储目录以及每个 LookML 项目的 Git 服务器进行通信。
MySQL 应用数据库
Looker 使用应用数据库(通常称为内部数据库)来保存应用数据。当 Looker 作为单节点应用运行时,通常会使用内存中的 HyperSQL 数据库。
在集群式 Looker 配置中,每个节点的 Looker 实例都必须指向共享事务型数据库(共享应用数据库或内部数据库)。对于集群 Looker,应用数据库支持如下:
- 对于集群 Looker 实例,应用数据库仅支持 MySQL。不支持 Amazon Aurora 和 MariaDB。
- 支持 MySQL 5.7 及更高版本和 8.0 及更高版本。
- 不支持 Galera 等集群数据库。
Looker 不会管理该数据库的维护和备份。不过,由于数据库托管了几乎所有 Looker 应用配置数据,因此应将其配置为高可用性数据库,并至少每天备份一次。
Looker 节点
每个节点都是一台服务器,其上运行着 Looker Java 进程。Looker 集群中的服务器需要能够相互访问,并访问 Looker 应用数据库。默认端口已在此页面上的打开端口以供节点通信中列出。
负载均衡器
为了平衡负载或将请求重定向到可用节点,需要使用负载均衡器或代理服务器(例如 NGINX 或 AWS ELB)将流量导向每个 Looker 节点。负载均衡器处理健康检查。如果节点发生故障,必须将负载均衡器配置为将流量重新路由到其余健康节点。
选择和配置负载均衡器时,请确保该负载均衡器可以配置为仅在第 4 层运行。Amazon Classic ELB 就是一个这样的示例。此外,负载均衡器应具有较长的超时时间(3,600 秒),以防止查询被终止。
共享文件系统
您必须使用符合 POSIX 标准的共享文件系统(例如 NFS、AWS EFS、Gluster、BeeGFS、Lustre 或许多其他文件系统)。Looker 使用共享文件系统作为代码库,存储集群中所有节点使用的各种信息。
Looker 应用(JAR 可执行文件)
您必须使用 Looker 3.56 或更高版本的 Looker 应用 JAR 文件。
Looker 强烈建议集群中的每个节点运行相同的 Looker 版本和补丁版本,如本页面的在节点上启动 Looker 中所述。
设置集群
必须完成以下任务:
安装 Looker
确保您已在每个节点上安装 Looker,方法是使用 Looker 应用 JAR 文件和客户自托管安装步骤文档页面上的说明。
设置 MySQL 应用数据库
对于集群 Looker 配置,应用数据库必须是 MySQL 数据库。如果您有现有的非集群 Looker 实例,并且该实例使用 HyperSQL 作为应用数据库,则必须将应用数据从 HyperSQL 数据迁移到新的共享 MySQL 应用数据库。
如需了解如何备份 Looker,然后将应用数据库从 HyperSQL 迁移到 MySQL,请参阅迁移到 MySQL 文档页面。
设置共享文件系统
只有特定类型的文件(模型文件、部署密钥、插件以及可能的应用清单文件)属于共享文件系统。如需设置共享文件系统,请执行以下操作:
- 在将存储共享文件系统的服务器上,验证您是否拥有可
su
到 Looker 用户账号的另一个账号的访问权限。 - 在共享文件系统的服务器上,登录 Looker 用户账号。
- 如果 Looker 正在运行,请关闭 Looker 配置。
- 如果您之前使用 inotify Linux 脚本进行聚类,请停止这些脚本,从 cron 中移除它们,然后将其删除。
- 创建网络共享,并将其装载到集群中的每个节点上。确保该文件系统已配置为在每个节点上自动挂载,并且 Looker 用户有权读取和写入该文件系统。在以下示例中,网络共享名为
/mnt/looker-share
。 在一个节点上,复制部署密钥,并将插件以及存储模型文件的
looker/models
和looker/models-user-*
目录移动到网络共享。例如:mv looker/models /mnt/looker-share/ mv looker/models-user-* /mnt/looker-share/
为每个节点添加
--shared-storage-dir
设置到LOOKERARGS
。指定网络共享,如本例所示:--shared-storage-dir /mnt/looker-share
应将
LOOKERARGS
添加到$HOME/looker/lookerstart.cfg
,以便设置不受更新的影响。如果您的LOOKERARGS
未列在该文件中,则可能是有人直接将其添加到了$HOME/looker/looker
shell 脚本中。集群中的每个节点都必须写入唯一的
/log
目录(或至少是唯一的日志文件)。
共享 SSH 密钥代码库
- 您要根据现有的 Looker 配置创建共享文件系统集群,并且
- 您有在 Looker 4.6 或更早版本中创建的项目。
设置要共享的 SSH 密钥代码库:
在共享文件服务器上,创建一个名为
ssh-share
的目录。例如:/mnt/looker-share/ssh-share
。确保
ssh-share
目录归 Looker 用户所有,且权限为 700。此外,请确保ssh-share
目录之上的目录(例如/mnt
和/mnt/looker-share
)不是全局可写或群组可写目录。在一个节点上,将
$HOME/.ssh
的内容复制到新的ssh-share
目录。例如:cp $HOME/.ssh/* /mnt/looker-share/ssh-share
对于每个节点,备份现有的 SSH 文件并创建指向
ssh-share
目录的符号链接。例如:cd $HOME mv .ssh .ssh_bak ln -s /mnt/looker-share/ssh-share .ssh
请务必对每个节点执行此步骤。
打开端口以供节点进行通信
集群 Looker 节点通过 HTTPS 使用自签名证书进行相互通信,并采用基于应用数据库中轮换密钥的额外身份验证方案。
集群节点之间必须开放的默认端口为 1551 和 61616。您可以使用此处列出的启动标志来配置这些端口。我们强烈建议您限制对这些端口的网络访问,以仅允许集群主机之间的流量。
在节点上启动 Looker
使用所需的启动标志重新启动每个节点上的服务器。
可用的启动标志
下表显示了可用的启动标志,包括启动或加入集群所需的标志:
标志 | 是否必需? | 值 | 用途 |
---|---|---|---|
--clustered |
是 | 添加标志以指定相应节点在集群模式下运行。 | |
-H 或 --hostname |
是 | 10.10.10.10 |
其他节点用于联系此节点的主机名,例如节点的 IP 地址或其系统主机名。必须与集群中所有其他节点的主机名不同。 |
-n |
否 | 1551 |
用于节点间通信的端口。默认值为 1551。所有节点都必须使用相同的端口号进行节点间通信。 |
-q |
否 | 61616 |
用于将集群范围的事件排入队列的端口。默认值为 61616。 |
-d |
是 | /path/to/looker-db.yml |
包含 Looker 应用数据库凭据的文件的路径。 |
--shared-storage-dir |
是 | /path/to/mounted/shared/storage |
此选项应指向本页上方设置的共享目录,该目录包含 looker/model 和 looker/models-user-* 目录。 |
LOOKERARGS
的示例以及指定数据库凭据
将 Looker 启动标志放在与 Looker JAR 文件位于同一目录中的 lookerstart.cfg
文件中。
例如,您可能想告诉 Looker:
- 如需使用名为
looker-db.yml
的文件作为数据库凭据, - 表明相应节点是集群节点,
- 集群的其他节点应通过 IP 地址 10.10.10.10 与此主机联系。
您需要指定:
LOOKERARGS="-d looker-db.yml --clustered -H 10.10.10.10"
looker-db.yml
文件将包含数据库凭据,例如:
host: your.db.hostname.com
username: db_user
database: looker
dialect: mysql
port: 3306
password: secretPassword
此外,如果您的 MySQL 数据库需要 SSL 连接,则 looker-db.yml
文件还需要包含以下内容:
ssl: true
如果您不想将配置存储在磁盘上的 looker-db.yml
文件中,可以将环境变量 LOOKER_DB
配置为包含 looker-db.yml
文件中每行的键和值列表。例如:
export LOOKER_DB="dialect=mysql&host=localhost&username=root&password=&database=looker&port=3306"
查找 Git SSH 部署密钥
Looker 存储 Git SSH 部署密钥的位置取决于创建项目时所用的版本:
- 对于在 Looker 4.8 之前创建的项目,部署密钥存储在服务器的内置 SSH 目录
~/.ssh
中。 - 对于在 Looker 4.8 或更高版本中创建的项目,部署密钥存储在 Looker 控制的目录
~/looker/deploy_keys/PROJECT_NAME
中。
修改 Looker 集群
创建 Looker 集群后,您可以添加或移除节点,而无需更改其他集群节点。
将集群更新到新的 Looker 版本
更新可能涉及对 Looker 内部数据库的架构更改,这些更改与之前的 Looker 版本不兼容。您可以通过两种方法更新 Looker。
更安全的方法
- 创建应用数据库的备份。
- 停止集群的所有节点。
- 替换每个服务器上的 JAR 文件。
- 一次启动一个节点。
更快的方法
如需使用此速度更快但不太完整的方法进行更新,请执行以下操作:
- 创建 Looker 应用数据库的副本。
- 启动指向副本的新集群。
- 将代理服务器或负载均衡器指向新节点,然后停止旧节点。