Dataproc HBase コンポーネント

Dataproc クラスタを作成する際には、オプション コンポーネント機能を使用して、追加コンポーネントをインストールできます。このページでは HBase コンポーネントについて説明します。

Apache HBASE コンポーネントは、分散型でスケーラブルなビッグデータ ストアである Hadoop データベースです。HBase サーバーとウェブ UI は、Dataproc クラスタの最初のマスターノードのポート 16010 で使用できます。HBase CLI(コマンドライン インターフェース)を呼び出すには、クラスタの最初のマスターノードのターミナル ウィンドウで hbase shell コマンドを使用します。

コンポーネントのインストール

Dataproc クラスタの作成時にコンポーネントをインストールします。 Dataproc バージョン 1.5 以降で作成されたクラスタには、コンポーネントを追加できます。以下の gcloud コマンドライン ツールとコンソールの例に示すように、HBase コンポーネントには Zookeeper コンポーネントのインストールが必要です。

Dataproc イメージの各リリースに含まれるコンポーネント バージョンについては、サポートされる Dataproc バージョンをご覧ください。

gcloud コマンド

HBase コンポーネントを組み込んで Dataproc クラスタを作成するには、--region フラグと --optional-components フラグを指定して gcloud beta dataproc clusters create cluster-name コマンドを使用します(イメージ バージョン 1.5 以降)。

gcloud beta dataproc clusters create cluster-name \
    --optional-components=HBASE,ZOOKEEPER \
    --region=region \
    --image-version=1.5 \
    --enable-component-gateway \
    ... other flags

REST API

HBase と必要な ZooKeeper コンポーネントは、clusters.create リクエストの一部として SoftwareConfig.Component を使用して Dataproc API で指定できます。

Console

  1. コンポーネントとコンポーネント ゲートウェイを有効にします。
    • Cloud Console で、Dataproc の [クラスタの作成] ページを開きます。[クラスターを設定] パネルが選択されています。
    • [コンポーネント] セクションで次の設定を行います。
      • [オプション コンポーネント] で、クラスタにインストールする HBase、Zookeeper などのオプション コンポーネントを選択します。
      • [コンポーネント ゲートウェイ] で [コンポーネント ゲートウェイを有効にする] を選択します。

HBase 構成プロパティの設定

ほとんどのアプリケーションではデフォルトの Dataproc HBase 構成設定で十分ですが、hbase: ファイル接頭辞を使用してクラスタ プロパティを設定して作成した場合は、HBase 構成を変更できます。

hbase-site.xmlhbase.rootdir を設定する gcloud コマンドの例:

gcloud beta dataproc clusters create my-cluster \
    --optional-components=HBASE,ZOOKEEPER \
    --properties=hbase:hbase.rootdir=hdfs://...
    ... other flags (see Installing the component)