サーバーレスバッチとインタラクティブノートブックのセッションに Dataproc JupyterLab プラグインを使用する

Dataproc Serverless の制限と考慮事項

Spark ジョブは、送信ユーザーの ID ではなく、サービスアカウント ID で実行されます。

準備

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

Google Cloud Console の [プロジェクトセレクタ] ページで、Google Cloud プロジェクトを選択または作成します。

プロジェクトセレクタに移動

Dataproc API を有効にします。

API を有効にする

Google Cloud CLI をインストールします。

gcloud CLI を初期化するには:

gcloud init

注: すでに gcloud CLI をインストールしている場合は、

gcloud components
      update

を実行して、最新バージョンがインストールされていることを確認してください。

Google Cloud Console の [プロジェクトセレクタ] ページで、Google Cloud プロジェクトを選択または作成します。

プロジェクトセレクタに移動

Dataproc API を有効にします。

API を有効にする

Google Cloud CLI をインストールします。

gcloud CLI を初期化するには:

gcloud init

注: すでに gcloud CLI をインストールしている場合は、

gcloud components
      update

を実行して、最新バージョンがインストールされていることを確認してください。

Dataproc JupyterLab プラグインをインストールする

Dataproc JupyterLab プラグインは、Google サービスにアクセスできるマシンまたは VM（ローカルマシンや Compute Engine VM インスタンスなど）にインストールして使用できます。

プラグインをインストールする手順は次のとおりです。

Python 3.8+ がマシンにインストールされていることを確認します。Python は python.org/downloads からダウンロードしてインストールできます。
1. Python 3.8 以降のインストールを確認します。
```
python3 --version
```
マシンに JupyterLab 3.6.3+ をインストールします。
```
pip3 install --upgrade jupyterlab
```
1. JupyterLab 3.6.3 以降のインストールを確認します。
```
pip3 show jupyterlab
```
Dataproc JupyterLab プラグインをインストールします。
```
pip3 install dataproc-jupyter-plugin
```
1. JupyterLab のバージョンが 4.0.0 より前の場合は、プラグイン拡張機能を有効にします。
```
jupyter server extension enable dataproc_jupyter_plugin
```
JupyterLab を起動します。
```
jupyter lab
```
1. JupyterLab の [ランチャー] ページがブラウザで開きます。Dataproc のジョブとセッションのセクションが含まれています。また、次のものが含まれる場合もあります:プロジェクトでJupyter のオプションコンポーネントを実行している Dataproc サーバーレスノートブックまたは Dataproc クラスタにアクセスできる場合は、Dataproc サーバーレスノートブックおよび Dataproc クラスタノートブックのセクションを含めることもできます。
  
  MacOS で、ターミナルに SSL: CERTIFICATE_VERIFY_FAILED エラーが表示された場合は、Jupyterlab を起動した際に、/Applications/Python 3.11/Install Certificates.command を実行して Python SSL 証明書を更新します。このファイルは Python ホームディレクトリにあります。
2. デフォルトでは、Dataproc Serverless for Spark Interactive セッションは、始める前にで gcloud init を実行したときに設定したプロジェクトとリージョンで実行されます。セッションのプロジェクトとリージョンの設定は、JupyterLab の [設定] > [Dataproc 設定] ページで変更できます。

Dataproc Serverless ランタイムテンプレートを作成する

Dataproc Serverless ランタイムテンプレート（session テンプレートとも呼ばれます）には、セッションで Spark コードを実行するための構成設定が含まれています。ランタイムテンプレートの作成と管理は、Jupyterlab または gcloud CLI を使用して行うことができます。

JupyterLab

JupyterLab の [ランチャー] ページの [Dataproc Serverless ノートブック] セクションで New runtime template カードをクリックします。
[ランタイムテンプレート] フォームに入力します。
[表示名] と [説明] を指定し、他の設定を入力または確認します。

注:
- ネットワーク構成: サブネットワークで限定公開の Google アクセスを有効にし、すべてのポートでサブネットの通信を許可する必要があります（Dataproc Serverless for Spark のネットワーク構成を参照してください）。
  
  始める前にで gcloud init を実行したときに構成したリージョンの default ネットワークのサブネットが、限定公開の Google アクセスに対して有効になっていない場合:
  - 限定公開の Google アクセスに対して有効にするか、
  - 限定公開の Google アクセスが有効になっているリージョンサブネットワークを持つ別のネットワークを選択します。Dataproc Serverless が使用するリージョンは、JupyterLab の [設定] > [Dataproc 設定] ページで変更できます。
- Metastore: セッションで Dataproc Metastore サービスを使用するには、メタストアのプロジェクト ID、リージョン、サービスを選択します。
- 最大アイドル時間: セッションが終了するまでのノートブックの最大アイドル時間。指定できる範囲: 10 分～336 時間（14 日）。
- 最大セッション時間: セッションが終了するまでのセッションの最大存続時間。指定できる範囲: 10 分～336 時間（14 日）。
- PHS: 使用可能な永続 Spark 履歴サーバーを選択して、セッション中およびセッション後のセッションログにアクセスできます。
  
  PHS は、セッションが実行されるロケーション（リージョン）に設定する必要があります。デフォルトでは、Dataproc サーバーレスセッションは、gcloud init コマンドで設定されたプロジェクトとリージョンで実行されます。プロジェクトとリージョンの設定は、JupyterLab の [設定] > [Dataproc 設定] ページで変更できます。
- Spark プロパティ:サーバーレス Spark セッションに設定する各プロパティの [プロパティを追加] をクリックします。Spark ランタイム、リソース、自動スケーリングのプロパティなど、サポートされている Spark プロパティとサポートされていない Spark プロパティのリストについては、Spark プロパティをご覧ください。
- ラベル: サーバーレス Spark セッションに設定する各ラベルの [ラベルを追加] をクリックします。
[設定] > [Dataproc 設定] ページでランタイムテンプレートを表示します。
- テンプレートの [操作] メニューからテンプレートを削除できます。
[Save] をクリックします。
JupyterLab ランチャー ページを開いて再読み込みし、JupyterLab ランチャー ページに保存したノートブックテンプレートカードを表示します。

gcloud

ランタイムテンプレート構成を含む YAML ファイルを作成します。

単純な YAML

environmentConfig:
  executionConfig:
    networkUri: default
jupyterSession:
  kernel: PYTHON
  displayName: Team A
labels:
  purpose: testing
description: Team A Development Environment

複雑な YAML

environmentConfig:
  executionConfig:
    serviceAccount: sa1
    # Choose either networkUri or subnetworkUri
    networkUri: default
    subnetworkUri: subnet
    networkTags:
     - tag1
    kmsKey: key1
    idleTtl: 3600s
    ttl: 14400s
    stagingBucket: staging-bucket
  peripheralsConfig:
    metastoreService: projects/my-project-id/locations/us-central1/services/my-metastore-id
    sparkHistoryServerConfig:
      dataprocCluster: projects/my-project-id/regions/us-central1/clusters/my-cluster-id
jupyterSession:
  kernel: PYTHON
  displayName: Team A
labels:
  purpose: testing
runtimeConfig:
  version: "1.1"
  containerImage: gcr.io/my-project-id/my-image:1.0.1
  properties:
    "p1": "v1"
description: Team A Development Environment

始める前にで gcloud init を実行したときに構成したリージョンの default ネットワークのサブネットが、限定公開の Google アクセスに対して有効になっていない場合:

限定公開の Google アクセスに対して有効にするか、
限定公開の Google アクセスが有効になっているリージョンサブネットワークを持つ別のネットワークを選択します。Dataproc Serverless が使用するリージョンは、JupyterLab の [設定] > [Dataproc 設定] ページで変更できます。

次の gcloud beta dataproc session-templates import コマンドをローカル、または Cloud Shell で実行して、YAML ファイルからセッション（ランタイム）テンプレートを作成します。
```
gcloud beta dataproc session-templates import TEMPLATE_ID \
    --source=YAML_FILE \
    --project=PROJECT_ID \
    --location=REGION
```
- セッションテンプレートを記述、一覧表示、エクスポート、削除するコマンドについては、gcloud beta dataproc session-templates をご覧ください。

ノートブックを起動して管理する

Dataproc JupyterLab プラグインをインストールした後、JupyterLab ランチャー ページでテンプレートカードをクリックすると、次のことができます。

Dataproc Serverless で Jupyter ノートブックを起動する
Dataproc on Compute Engine クラスタで Jupyter ノートブックを起動する

Dataproc Serverless で Jupyter ノートブックを起動する

JupyterLab ランチャーページの [Dataproc Serverless Notebooks] セクションには、Dataproc Serverless ランタイムテンプレートにマッピングされるノートブックテンプレートカードが表示されます（Dataproc Serverless ランタイムテンプレートを作成するを参照してください）。

カードをクリックして Dataproc Serverless セッションを作成し、ノートブックを起動します。セッションの作成が完了し、ノートブックカーネルが使用できる状態になると、カーネルのステータスが Unknown から Idle に変わります。
ノートブックのコードを記述してテストします。
1. 次の PySpark Pi estimation コードをコピーして PySpark ノートブックセルに貼り付け、Shift+Return キーを押してコードを実行します。
```
import random
    
def inside(p):
    x, y = random.random(), random.random()
    return x*x + y*y < 1
    
count = sc.parallelize(range(0, 10000)) .filter(inside).count()
print("Pi is roughly %f" % (4.0 * count / 10000))
```
  ノートブックの結果:
ノートブックを作成して使用した後、[Kernel] タブで [Shut down Kernel] をクリックすると、ノートブックセッションを終了できます。
- セッションを終了しない場合、Dataproc はセッションアイドルタイマーが期限切れになるとセッションを終了します。セッションのアイドル時間は、ランタイムテンプレートの構成で構成できます。デフォルトのセッションアイドル時間は 1 時間です。

Dataproc on Compute Engine クラスタでノートブックを起動する

Dataproc on Compute Engine Jupyter クラスタを作成した場合は、JupyterLab の [ランチャー] ページには、事前にインストールしたカーネルカードが表示された [Dataproc クラスタノートブック] セクションがあります。

Dataproc on Compute Engine クラスタで Jupyter ノートブックを起動するには:

[Dataproc クラスタノートブック] セクションでカードをクリックします。
カーネルのステータスが Unknown から Idle に変わると、ノートブックコードの記述と実行を開始できます。
ノートブックを作成して使用した後、[Kernel] タブで [Shut down Kernel] をクリックすると、ノートブックセッションを終了できます。

Cloud Storage の入出力ファイルを管理する

探索的データの分析と ML モデルの構築には、多くの場合、ファイルベースの入力と出力が含まれます。Dataproc Serverless は Cloud Storage 上のこれらのファイルにアクセスします。

Cloud Storage ブラウザにアクセスするには、JupyterLab の [ランチャー] ページのサイドバーで Cloud Storage ブラウザアイコンをクリックし、フォルダをダブルクリックするとその内容が表示されます。
Jupyter でサポートされているファイル形式をクリックして、開いて編集できます。ファイルへの変更を保存すると、Cloud Storage に書き込まれます。
新しい Cloud Storage フォルダを作成するには、新しいフォルダアイコンをクリックし、フォルダの名前を入力します。
Cloud Storage バケットまたはフォルダにファイルをアップロードするには、アップロードアイコンをクリックし、アップロードするファイルを選択します。

Spark ノートブックコードを開発する

Dataproc JupyterLab プラグインをインストールした後、JupyterLab の [ランチャー] ページから Jupyter ノートブックを起動してアプリケーションコードを開発できます。

PySpark と Python のコード開発

Dataproc Serverless と Dataproc on Compute Engine のクラスタは、PySpark カーネルをサポートしています。Dataproc on Compute Engine は Python カーネルもサポートしています。

JupyterLab ランチャー ページの [Dataproc Serverless ノートブック] セクションまたは [Dataproc クラスタノートブック] セクションの PySpark カードをクリックして、PySpark ノートブックを開きます。
JupyterLab の [ランチャー] ページの [Dataproc クラスタノートブック] セクションで Python カーネルカードをクリックして、Python ノートブックを開きます。

SQL のコード開発

JupyterLab の [ランチャー] ページの [Dataproc Serverless ノートブック] セクションまたは [Dataproc クラスタノートブック] セクションの PySpark カードをクリックして、PySpark ノートブックを開き SQL コードを記述し、実行します。

Spark SQL マジック: Dataproc Serverless ノートブックを起動する PySpark カーネルは、Spark SQL マジックがプリロードされています。SQL ステートメントでラップするには、spark.sql('SQL STATEMENT').show() を使用する代わりに、セルの先頭に「%%sparksql magic」と入力し、セルにSQL ステートメントを入力します。

BigQuery SQL: BigQuery Spark コネクタを使用すると、ノートブックコードで BigQuery テーブルからデータを読み込み、Spark で分析を実行して、結果を BigQuery テーブルに書き込むことができます。

Dataproc Serverless 2.1 ランタイムには、BigQuery Spark コネクタが含まれています。Dataproc Serverless 2.0 以前のランタイムを使用して、Dataproc Serverless ノートブックを起動する場合は、次の Spark プロパティをDataproc Serverless ランタイムテンプレートに追加して Spark BigQuery コネクタをインストールできます。

spark.jars: gs://spark-lib/bigquery/spark-bigquery-with-dependencies_2.12-0.25.2.jar

Scala のコード開発

イメージバージョン 2.0 以降、2.1 以降で作成された Dataproc on Compute Engine クラスタには、Apache Toree（Spark へのインタラクティブなアクセスを可能にする Jupyter ノートブックプラットフォーム用の Scala カーネル）が含まれています。

JupyterLab の [ランチャー] ページの [Dataproc クラスタノートブック] セクションの Apache Toree カードをクリックして、Scala コード開発用のノートブックを開きます。

メタデータエクスプローラ

Dataproc Metastore（DPMS）インスタンスがDataproc Serverless ランタイムテンプレートまたは、Compute Engine クラスタの Dataproc に接続されている場合、ノートブックを開くと、DPMS インスタンススキーマが JupyterLab メタデータエクスプローラに表示されます。DPMS は、フルマネージドで水平スケーリング可能な Google Cloud 上の Hive メタストア（HMS）サービスです。

メタデータエクスプローラで HMS メタデータを表示するには、以下の手順に従ってください。

プロジェクトで Data Catalog API を有効にします。
DPMS サービスで Data Catalog の同期を有効にします。
Dataproc Serverless ランタイムテンプレートを作成するか、Compute Engine クラスタで Dataproc を作成するときに、DPMS インスタンスを指定します。

JupyterLab メタデータエクスプローラを開くには、サイドバーでアイコンをクリックします。

メタデータエクスプローラでデータベース、テーブル、列を検索できます。データベース、テーブル、列名をクリックすると、関連するメタデータが表示されます。

コードをデプロイする

Dataproc JupyterLab プラグインをインストールすると、JupyterLab を使用して次のことができます。

Dataproc Serverless インフラストラクチャでノートブックコードを実行する
Dataproc Serverless インフラストラクチャまたは Dataproc on Compute Engine クラスタにバッチジョブを送信します。

Dataproc Serverless でノートブックコードを実行する

実行アイコンをクリックするか、Shift-Return キーを押して、ノートブックセルでコードを実行します。
[実行] メニューを使用して、1 つ以上のノートブックセルでコードを実行します。

Dataproc Serverless にバッチジョブを送信する

JupyterLab の [ランチャー] ページの [Dataproc のジョブとセッション] セクションにある [サーバーレス] カードをクリックします。
[バッチ] タブをクリックし、[バッチを作成] をクリックして、[バッチ情報] フィールドに入力します。
[送信] をクリックしてジョブを送信します。

Dataproc on Compute Engine クラスタにバッチジョブを送信する

JupyterLab の [ランチャー] ページの [Dataproc のジョブとセッション] セクションで [クラスタ] カードをクリックします。
[ジョブ] タブをクリックし、[ジョブを送信] をクリックします。
クラスタを選択して、[ジョブ] フィールドに入力します。
[送信] をクリックしてジョブを送信します。

リソースを表示して管理する

Dataproc JupyterLab プラグインをインストールしたら、JupyterLab の [ランチャー] ページの [Dataproc のジョブとセッション] セクションで Dataproc Serverless と Dataproc on Compute Engine を表示して管理できます。

[Dataproc のジョブとセッション] セクションをクリックして、[クラスタ] カードと [サーバーレス] カードを表示します。

Dataproc Serverless セッションを表示して管理するには:

[サーバーレス] カードをクリックします。
[セッション] タブをクリックしてから、セッション ID をクリックして [セッションの詳細] ページを開き、セッションプロパティを表示し、ログエクスプローラで Google Cloud のログを表示して、セッションを終了します。注: 各 Dataproc Serverless ノートブックを起動するための一意の Dataproc Serverless セッションが作成されます。

Dataproc Serverless バッチを表示して管理するには:

[バッチ] タブをクリックすると、現在のプロジェクトとリージョンの Dataproc Serverless バッチのリストが表示されます。バッチ ID をクリックすると、バッチの詳細が表示されます。

Dataproc on Compute Engine クラスタを表示して管理するには:

[クラスタ] カードをクリックします。[クラスタ] タブが選択され、現在のプロジェクトとリージョン内のアクティブな Dataproc on Compute Engine クラスタが一覧表示されます。[アクション] 列のアイコンをクリックして、クラスタを起動、停止、再起動できます。クラスタ名をクリックすると、クラスタの詳細が表示されます。[アクション] 列のアイコンをクリックして、ジョブのクローン作成、停止、削除を行うことができます。

Dataproc on Compute Engine ジョブを表示して管理するには:

[ジョブ] カードをクリックして、現在のプロジェクトに存在するジョブのリストを表示します。ジョブの詳細を表示するには、ジョブ ID をクリックします。