Cloud Dataproc のコンポーネント ゲートウェイ

Google Cloud Dataproc クラスタにデフォルトで組み込まれる Apache HadoopApache Spark などの一部のオープンソース コンポーネントには、ウェブ インターフェースが備わっています。こうしたインターフェースを使用すると、YARN リソース マネージャー、Hadoop 分散ファイル システム(HDFS)、MapReduce、Spark などのクラスタ リソースと機能を管理およびモニタリングできます。Cloud Dataproc のデフォルト コンポーネントとオプション コンポーネントのウェブ エンドポイントには、コンポーネント ゲートウェイによってセキュアにアクセスできます。

Cloud Dataproc イメージ バージョン 1.3.29 以降で作成されたクラスタでは、SSH トンネルへの依存や、受信トラフィックを許可するようにファイアウォール ルールを変更することなく、コンポーネントのウェブ インターフェースへのアクセスを有効にできます。

考慮事項

  • コンポーネントのウェブ インターフェースには、IAM の dataproc.clusters.use 権限を付与されたユーザーがアクセスできます。デフォルトでは、プロジェクト メンバーだけにこの権限が付与されています(Cloud Dataproc の役割をご覧ください)。
  • コンポーネント ゲートウェイを使用して REST API(Apache Hadoop YARNApache Livy など)や履歴サーバーにアクセスすることはできません。
  • コンポーネント ゲートウェイは、Kerberos クラスタでは利用できません。
  • コンポーネント ゲートウェイが有効にされると、クラスタ内の最初のマスターノードに次のサービスが追加されます。
  • コンポーネント ゲートウェイは、node:port インターフェースへの直接アクセスを有効にしませんが、サービスの特定のサブセットを自動的にプロキシします。ノード上のサービス(node:port)にアクセスする必要がある場合は、SSH SOCKS プロキシを使用します。

コンポーネント ゲートウェイを使用してクラスタを作成する

Console

GCP Console でコンポーネント ゲートウェイを有効にするには、Cloud Dataproc の [クラスタの作成] フォームで [コンポーネント ゲートウェイ] チェックボックスをオンにします。

gcloud コマンド

ターミナル ウィンドウまたは Cloud Shell で、Cloud SDK の gcloud beta dataproc clusters create コマンドをローカルに実行します。

gcloud beta dataproc clusters create cluster-name \
    --enable-component-gateway \
    other args ...

REST API

clusters.create リクエストの一部として EndpointConfig.enableHttpPortAccess プロパティを true に設定します。

コンポーネント ゲートウェイの URL を表示してアクセスする

クラスタでコンポーネント ゲートウェイが有効になっている場合、GCP Console 上のリンクをクリックして、クラスタの最初のマスターノードで実行されているコンポーネント ウェブ インターフェースに接続できます。また、コンポーネント ゲートウェイでは、endpointConfig.httpPorts に URL へのポート名のマップが設定されます。コンソールを使用する代わりに、gcloud コマンドライン ツールや Cloud Dataproc REST API を使用してこのマッピング情報を表示し、URL をコピーしてブラウザに貼り付けて、コンポーネントの UI に接続できます。

Console

Google Cloud Platform Console で Cloud Dataproc の [クラスタ] フォームに移動し、クラスタを選択して [クラスタの詳細] フォームを開きます。[ウェブ インターフェース] タブをクリックすると、クラスタにインストールされているデフォルト コンポーネントとオプション コンポーネントのウェブ インターフェースへのコンポーネント ゲートウェイ リンクのリストが表示されます。いずれかのコンポーネントのリンクをクリックすると、クラスタのマスターノード上で実行されているそのコンポーネントのウェブ インターフェースがローカル ブラウザ内に開きます。

gcloud コマンド

ターミナル ウィンドウまたは Cloud Shell で、Cloud SDK の gcloud beta dataproc clusters describe コマンドをローカルに実行します。

gcloud beta dataproc clusters describe cluster-name

出力例:

...
config:
  endpointConfig:
    enableHttpPortAccess: true
    httpPorts:
      HDFS NameNode:
https://584bbf70-7a12-4120-b25c-31784c94dbb4-dot-dataproc.google.com/hdfs/ MapReduce Job History:
https://584bbf70-7a12-4120-b25c-31784c94dbb4-dot-dataproc.google.com/jobhistory/ Spark HistoryServer:
https://584bbf70-7a12-4120-b25c-31784c94dbb4-dot-dataproc.google.com/sparkhistory/ YARN ResourceManager:
https://584bbf70-7a12-4120-b25c-31784c94dbb4-dot-dataproc.google.com/yarn/ YARN Application Timeline:
https://584bbf70-7a12-4120-b25c-31784c94dbb4-dot-dataproc.google.com/apphistory/ ...

REST API

ポート名と URL の endpointConfig.httpPorts マップを取得するには、clusters.get を呼び出します。

次のステップ

このページは役立ちましたか?評価をお願いいたします。

フィードバックを送信...

Cloud Dataproc ドキュメント
ご不明な点がありましたら、Google のサポートページをご覧ください。