Cloud Dataproc のコンポーネント

クラスタを作成すると、標準の Apache Hadoop エコシステム コンポーネントが自動的にクラスタにインストールされます(Cloud Dataproc バージョン リストをご覧ください)。クラスタを作成する際に、「オプション コンポーネント」と呼ばれる追加コンポーネントをクラスタにインストールすることもできます。クラスタへのオプション コンポーネントの追加は、初期化アクションを使用したコンポーネントの追加と似ていますが、以下のメリットがあります。

  • クラスタの起動時間の高速化
  • 特定の Cloud Dataproc バージョンとのテスト済みの互換性
  • 初期化アクション スクリプトの代わりにクラスタ パラメータを使用
  • オプション コンポーネントと他の Cloud Dataproc コンポーネントとの統合。たとえば、1 つのクラスタに Anaconda と Zeppelin をインストールするときに、Zeppelin では Anaconda の Python インタープリタとライブラリが利用されます。

オプション コンポーネントは、Cloud Dataproc バージョン 1.3 以降で作成されたクラスタに追加できます。

利用可能なオプション コンポーネント

オプション コンポーネント COMPONENT_NAME
(gcloud コマンドと API リクエストで使用するコンポーネント名)
イメージ バージョン リリースの段階
Anaconda ANACONDA 1.3 以降 一般提供
Druid DRUID 1.3 以降 アルファ版
Hive WebHCat HIVE_WEBHCAT 1.3 以降 一般提供
Jupyter ノートブック JUPYTER 1.3 以降 一般提供
Presto PRESTO 1.3 以降 ベータ版
Zeppelin ノートブック ZEPPELIN 1.3 以降 一般提供
Zookeeper ZOOKEEPER 1.0 以降 ベータ版

オプション コンポーネントを追加する

gcloud コマンド

Cloud Dataproc クラスタを作成して、そのクラスタに 1 つ以上のオプション コンポーネントをインストールするには、--optional-components フラグを指定した gcloud beta dataproc clusters create cluster-name コマンドを使用します(イメージ バージョンとして 1.3 以降を指定してください)。

gcloud dataproc clusters create cluster-name \
  --optional-components=COMPONENT-NAME(s) \
  --image-version=1.3 \
  ... other flags

REST API

Cloud Dataproc API でオプション コンポーネントを指定するには、SoftwareConfig.Componentclusters.create リクエストの一部として使用します。

Console

GCP Console で、Cloud Dataproc のクラスタの作成ページを開きます。ページ下部にある [詳細オプション] をクリックして [オプション コンポーネント] セクションを表示します。

[コンポーネントを選択] をクリックして [オプション コンポーネント] 選択パネルを開きます。クラスタにインストールするコンポーネントを 1 つ以上選択します。

このページは役立ちましたか?評価をお願いいたします。

フィードバックを送信...

Cloud Dataproc ドキュメント
ご不明な点がありましたら、Google のサポートページをご覧ください。