Dataproc Druid コンポーネント

Dataproc クラスタを作成する際には、オプション コンポーネント機能を使用して、追加コンポーネントをインストールできます。このページでは、Druid コンポーネントについて説明します。

Apache Druid コンポーネントは、オープンソースの分散 OLAP データストアです。Druid コンポーネントにより、Druid サービスが Dataproc クラスタのマスター(Coordinator、Broker、Overlord)ノードとワーカー(Historical、Realtime、MiddleManager)ノードにインストールされます。Druid コンポーネントは、ZooKeeper を使用して調整を管理します。

コンポーネントをインストールする

Dataproc クラスタの作成時にコンポーネントをインストールします。 Dataproc バージョン 1.3 以降で作成されたクラスタには、コンポーネントを追加できます。Druid コンポーネントを使用するには、(下記の gcloud コマンドライン ツールの例に示されているように)Zookeeper コンポーネントのインストールが必要です。

Dataproc イメージの各リリースに含まれるコンポーネント バージョンについては、サポートされる Dataproc バージョンをご覧ください。

gcloud コマンド

Druid コンポーネントを含む Dataproc クラスタを作成するには、--optional-components フラグを指定した gcloud dataproc beta clusters create cluster-name コマンドを使用します。

gcloud beta dataproc clusters create cluster-name \
    --optional-components=DRUID,ZOOKEEPER \
    --region=region \
    ... other flags

REST API

Druid コンポーネントは、clusters.create リクエストの一部として SoftwareConfig.Component を使用して Dataproc API で指定できます。

コンソール

  1. コンポーネントを有効にします。
    • Cloud Console で、Dataproc の [クラスタの作成] ページを開きます。ページ下部にある [詳細オプション] をクリックして [オプション コンポーネント] セクションを表示します。

    • [コンポーネントを選択] をクリックして [オプション コンポーネント] 選択パネルを開きます。Druid と、クラスタにインストールする他のオプション コンポーネントを選択します。

Druid へのアクセス

インストールされた Druid コンポーネントで作成された Dataproc クラスタには、クラスタのマスターノード上に構成された Druid の Overlord、Coordinator、Broker の各サービスがあります。これらのサービスは、次のマスター ノードポートにホストされています。

サービス ポート
Overlord 8092
コーディネーター 8081
Broker 8082

インストールされた Druid コンポーネントで作成された Dataproc クラスタには、ワーカーノード上に構成された Druid の Middlemanager と Historical のサービスがあります。これらのサービスは、次のワーカーノード ポートにホストされています。

サービス ポート
Middlemanager 8091
過去 8083

現在、Druid は Dataproc コンポーネント ゲートウェイと統合されていません。Druid の Coordinator または Overlord の Web UI にアクセスするには、マスターノード上のサービス用のポートへ SSH トンネルを作成します。