Dataproc の Jupyter オプションコンポーネント

Dataproc クラスタを作成する際には、オプションコンポーネント機能を使用して、Jupyter などの追加コンポーネントをインストールできます。このページでは Jupyter コンポーネントについて説明します。

Jupyter コンポーネントは、インタラクティブなデータ分析を行うためのウェブベースのノートブックで、JupyterLab ウェブ UI をサポートしています。Jupyter ウェブ UI は、クラスタの最初のマスターノードのポート 8123 で利用できます。

Jupyter ノートブックには、Spark コードを実行する Python カーネルと、PySpark カーネルが用意されています。デフォルトでは、ノートブックは Dataproc ステージングバケット内の Cloud Storage に保存されます。保存先バケットは、クラスタの作成時にユーザーが指定するか、自動作成されます。この場所は、クラスタの作成時に dataproc:jupyter.notebook.gcs.dir プロパティを使用して変更できます。

データファイルの処理。Jupyter ノートブックを使用すると、Cloud Storage にアップロードされたデータファイルを簡単に処理できます。Cloud Storage コネクタは Dataproc クラスタにプリインストールされているため、ノートブックでファイルを直接参照できます。次の例では、Cloud Storage 内の CSV ファイルにアクセスします（PySpark のデータ読み込み / 保存の例については、汎用の読み込み / 保存関数をご覧ください）。

df = spark.read.csv("gs://bucket/path/file.csv")
df.show()

Jupyter をインストールする

Dataproc クラスタの作成時にコンポーネントをインストールします。 Jupyter コンポーネントには、Dataproc コンポーネントゲートウェイの有効化が必要です。イメージバージョン 1.5 を使用する場合、Jupyter コンポーネントをインストールするには、Anaconda コンポーネントもインストールする必要があります。

Console

コンポーネントを有効にします。
- Google Cloud コンソールで、Dataproc の [クラスタの作成] ページを開きます。[クラスターを設定] パネルが選択されています。
- [コンポーネント] セクションで次の設定を行います。
  - [オプションコンポーネント] で、Jupyter コンポーネントを選択します。イメージバージョン 1.5 を使用している場合は、Anaconda コンポーネントを選択します。
  - [コンポーネントゲートウェイ] で [コンポーネントゲートウェイを有効にする] を選択します（コンポーネントゲートウェイの URL を表示してアクセスするをご覧ください）。

gcloud CLI

Jupyter コンポーネントを含む Dataproc クラスタを作成するには、--optional-components フラグを指定した gcloud dataproc clusters create cluster-nameコマンドを使用します。

最新のデフォルトイメージバージョンの例

次の例では、最新のデフォルトイメージバージョンを使用するクラスタに Jupyter コンポーネントをインストールします。

gcloud dataproc clusters create cluster-name \
    --optional-components=JUPYTER \
    --region=region \
    --enable-component-gateway \
    ... other flags

1.5 イメージバージョンの例

次の 1.5 イメージバージョンの例では、Jupyter と Anaconda の両方のコンポーネントをインストールします（イメージバージョン 1.5 を使用する場合は、Anaconda コンポーネントをインストールする必要があります）。

gcloud dataproc clusters create cluster-name \
    --optional-components=ANACONDA,JUPYTER \
    --region=region \
    --image-version=1.5 \
    --enable-component-gateway \
    ... other flags

REST API

Jupyter コンポーネントは、clusters.create の一部として SoftwareConfig.Component を使用して Dataproc API によりインストールできます。（イメージバージョン 1.5 を使用する場合は、Anaconda コンポーネントのインストールも必要です）。

clusters.create リクエストの一部として EndpointConfig.enableHttpPortAccess プロパティを true に設定して、コンポーネントゲートウェイを使用して Jupyter ノートブックウェブ UI への接続を有効にします。

Jupyter と JupyterLab の UI を開く

Google Cloud コンソールコンポーネントゲートウェイのリンクをクリックして、クラスタのマスターノードで実行されている Jupyter ノートブックと JupyterLab UI をローカルブラウザで開きます。

[GCS] または [ローカルディスク] を選択して、いずれかの場所に新しい Jupyter Notebook を作成します。

マスターノードまたはワーカーノードへの GPU の接続

Jupyter ノートブックを使用する際、クラスタのマスターノードとワーカーノードに GPU を追加できます。

Spark でデータを前処理して、DataFrame をマスターに集め、TensorFlow を実行する
Spark を使用して TensorFlow の実行を並列にオーケストレートする
Tensorflow-on-YARN を実行する
GPU を使用するその他の機械学習シナリオで使用する

Dataproc の Jupyter オプション コンポーネント