Dataproc 可选 Druid 组件

使用可选组件功能创建 Dataproc 集群时，您可以安装 Druid 等其他组件。本页面介绍了 Druid 组件。

Apache Druid 组件是一个开源分布式 OLAP 数据存储区。Druid 组件会在 Dataproc 集群的主节点（Coordinator、Broker 和 Overlord）和工作器节点（Historical、Realtime 和 MiddleManager）上安装 Druid 服务。该 Druid 组件使用 Zookeeper管理协作。

安装组件

在创建 Dataproc 集群时安装组件。 组件可添加到使用 Dataproc 版本 1.3 及更高版本创建的 集群中。Druid 组件需要安装 Zookeeper 组件（如下面的 Google Cloud CLI 示例所示）。

如需查看每个 Dataproc 映像版本中包含的组件版本，请参阅支持的 Dataproc 版本。

gcloud 命令

如需创建包含 Druid 组件的 Dataproc 集群，请使用带有 --optional-components 标志的 gcloud dataproc clusters create cluster-name 命令。

gcloud beta dataproc clusters create cluster-name \
    --optional-components=DRUID,ZOOKEEPER \
    --region=region \
    ... other flags

REST API

可以通过 Dataproc API 使用 SoftwareConfig.Component 将 Druid 组件指定为 clusters.create 请求的一部分。

控制台

  1. 启用组件。
    • 在 Google Cloud 控制台中，打开 Dataproc 创建集群页面。选中“设置集群”面板。
    • 在“组件”部分的“可选组件”下，选择 Druid、ZooKeeper 以及其他一些要在集群上安装的可选组件。

访问 Druid

在已安装 Druid 组件的情况下创建的 Dataproc 集群在集群的主节点上配置了Druid Overlord、Coordinator 和 Broker 服务。这些服务托管在以下主节点端口上：

服务 端口
Overlord 8092
协调者 8081
Broker 8082

在已安装 Druid 组件的情况下创建的 Dataproc 集群在集群的工作器节点上配置了Druid Middlemanager 和 Historical 服务。这些服务托管在以下工作器节点端口上：

服务 端口
Middlemanager 8091
历史 8083

目前，Druid 尚未与 Dataproc 组件网关集成。如需访问 Druid Coordinator 或 Overlord 网页界面，请为主节点上的服务端口创建 SSH 隧道。