Dataproc HBase 组件

使用可选组件功能创建 Dataproc 集群时,可以安装其他组件。本页面介绍了 HBase 组件。

Apache HBase组件是 Hadoop 数据库:分布式、可扩缩的大数据存储区。您可以通过 Dataproc 集群的第一个主节点上的 16010 端口访问 HBase 服务器和网页界面。您可以从集群第一个主节点上的终端窗口使用 hbase shell 命令调用 HBase CLI(命令行界面)。

安装组件

在创建 Dataproc 集群时安装组件。 HBase 组件可以添加到使用 Dataproc 版本 1.5 及更高版本创建的集群中。HBase 组件需要安装 ZooKeeper 组件,如下面的 gcloud 命令行工具和控制台示例所示。

如需查看每个 Dataproc 映像版本中包含的组件版本,请参阅支持的 Dataproc 版本

gcloud 命令

如需创建包含 HBase 组件的 Dataproc 集群,请使用带有 --region--optional-components 标志的 gcloud beta dataproc clusters create cluster-name 命令(使用映像版本 1.5 或更高版本)。

gcloud beta dataproc clusters create cluster-name \
    --optional-components=HBASE,ZOOKEEPER \
    --region=region \
    --image-version=1.5 \
    --enable-component-gateway \
    ... other flags

REST API

可以通过 Dataproc API 使用 SoftwareConfig.Component 将 HBase 和所需的 ZooKeeper 组件作为 clusters.create 请求的一部分。

控制台

  1. 启用组件和组件网关。
    • 在 Cloud Console 中,打开 Dataproc 创建集群页面。选中“设置集群”面板。
    • 在组件部分中执行以下操作:
      • 在可选组件下,选择要在集群上安装的 HBase、ZooKeeper 和其他可选组件。
      • 在“组件网关”下,选择“启用组件网关”。

设置 HBase 配置属性

虽然默认 Dataproc HBase 配置设置应该足以满足大多数应用的需求,但您可以在创建时通过使用 hbase: 文件前缀设置集群属性来修改 HBase 配置设置。

gcloud 命令示例,以在 hbase-site.xml 中设置 hbase.rootdir

gcloud beta dataproc clusters create my-cluster \
    --optional-components=HBASE,ZOOKEEPER \
    --properties=hbase:hbase.rootdir=hdfs://...
    ... other flags (see Installing the component)