Dataproc クラスタを作成する際には、オプション コンポーネント機能を使用して、Jupyter などの追加コンポーネントをインストールできます。このページでは Jupyter コンポーネントについて説明します。
Jupyter コンポーネントは、インタラクティブなデータ分析を行うためのウェブベースのノートブックで、JupyterLab ウェブ UI をサポートしています。Jupyter ウェブ UI は、クラスタの最初のマスターノードのポート 8123
で利用できます。
Jupyter ノートブックには、Spark コードを実行する Python カーネルと、PySpark カーネルが用意されています。デフォルトでは、ノートブックは Dataproc ステージング バケット内の Cloud Storage に保存されます。保存先バケットは、クラスタの作成時にユーザーが指定するか、自動作成されます。この場所は、クラスタの作成時に dataproc:jupyter.notebook.gcs.dir
プロパティを使用して変更できます。
Jupyter をインストールする
Dataproc クラスタの作成時にコンポーネントをインストールします。 Jupyter コンポーネントには、Dataproc コンポーネント ゲートウェイの有効化が必要です。イメージ バージョン 1.5 を使用する場合、Jupyter コンポーネントをインストールするには、Anaconda コンポーネントもインストールする必要があります。
Console
- コンポーネントを有効にします。
- Google Cloud コンソールで、Dataproc の [クラスタの作成] ページを開きます。[クラスターを設定] パネルが選択されています。
- [コンポーネント] セクションで次の設定を行います。
- [オプション コンポーネント] で、Jupyter コンポーネントを選択します。イメージ バージョン 1.5 を使用している場合は、Anaconda コンポーネントを選択します。
- [コンポーネント ゲートウェイ] で [コンポーネント ゲートウェイを有効にする] を選択します(コンポーネント ゲートウェイの URL を表示してアクセスするをご覧ください)。
gcloud CLI
Jupyter コンポーネントを含む Dataproc クラスタを作成するには、--optional-components
フラグを指定した gcloud dataproc clusters create cluster-nameコマンドを使用します。
最新のデフォルト イメージ バージョンの例
次の例では、最新のデフォルト イメージ バージョンを使用するクラスタに Jupyter コンポーネントをインストールします。
gcloud dataproc clusters create cluster-name \ --optional-components=JUPYTER \ --region=region \ --enable-component-gateway \ ... other flags
1.5 イメージ バージョンの例
次の 1.5 イメージ バージョンの例では、Jupyter と Anaconda の両方のコンポーネントをインストールします(イメージ バージョン 1.5 を使用する場合は、Anaconda コンポーネントをインストールする必要があります)。
gcloud dataproc clusters create cluster-name \ --optional-components=ANACONDA,JUPYTER \ --region=region \ --image-version=1.5 \ --enable-component-gateway \ ... other flags
REST API
Jupyter コンポーネントは、clusters.create
の一部として SoftwareConfig.Component
を使用して Dataproc API によりインストールできます。(イメージ バージョン 1.5 を使用する場合は、Anaconda コンポーネントのインストールも必要です)。
clusters.create
リクエストの一部として EndpointConfig.enableHttpPortAccess プロパティをtrue
に設定して、コンポーネント ゲートウェイを使用して Jupyter ノートブック ウェブ UI への接続を有効にします。
Jupyter と JupyterLab の UI を開く
Google Cloud コンソール コンポーネント ゲートウェイのリンクをクリックして、クラスタのマスターノードで実行されている Jupyter ノートブックと JupyterLab UI をローカルブラウザで開きます。
[GCS] または [ローカル ディスク] を選択して、いずれかの場所に新しい Jupyter Notebook を作成します。
マスターノードまたはワーカーノードへの GPU の接続
Jupyter ノートブックを使用する際、クラスタのマスターノードとワーカーノードに GPU を追加できます。
- Spark でデータを前処理して、DataFrame をマスターに集め、TensorFlow を実行する
- Spark を使用して TensorFlow の実行を並列にオーケストレートする
- Tensorflow-on-YARN を実行する
- GPU を使用するその他の機械学習シナリオで使用する