このページでは、Serverless for Apache Spark のインタラクティブ セッションとセッション テンプレートを作成する方法について説明します。セッション テンプレートを使用すると、セッション テンプレートの構成に基づいて複数のインタラクティブ セッションを作成できます。
インタラクティブ セッションを作成する
Google Cloud CLI または Dataproc API を使用して、Serverless for Apache Spark のインタラクティブ セッションを作成できます。
gcloud
gcloud beta dataproc sessions create command SESSION_NAME を使用して、Serverless for Apache Spark インタラクティブ セッションを作成できます。
gcloud beta dataproc sessions create spark SESSION_ID \ --location=REGION \ optional flags ...
次のように置き換えるか、追加します。
SESSION_ID: 必須。セッションの ID。
REGION: 必須。セッションを配置する使用可能なリージョン。
--version:（省略可）。サポートされている Spark ランタイム バージョン。このフラグを使用してバージョンを指定しない場合、現在のデフォルトの Spark ランタイム バージョンが使用されます。--container-image:（省略可）。セッションで使用するカスタム コンテナ イメージ。--property:（省略可）。セッションの 1 つ以上の Spark プロパティ（カンマ区切り）。--service-account:（省略可）。セッションで使用するサービス アカウント。指定しない場合は、Compute Engine のデフォルト サービス アカウントが使用されます。--subnet:（省略可）。セッション リージョン内のサブネットの名前。指定しない場合、Serverless for Apache Spark はセッション リージョンのdefaultサブネットを使用します。Apache Spark 用サーバーレスは、サブネットでプライベート Google アクセス（PGA）を有効にします。ネットワーク接続の要件については、Google Cloud Apache Spark 用サーバーレスのネットワーク構成をご覧ください。
REST
Dataproc sessions.create API を使用して、Serverless for Apache Spark インタラクティブ セッションを作成できます。
注:
name: 必須。セッション名。version:（省略可）。セッションでサポートされている Spark ランタイム バージョンのいずれか。バージョンを指定しない場合、現在のデフォルト バージョンが使用されます。containerImage:（省略可）。セッションで使用するカスタム コンテナ イメージ。properties:（省略可）。セッション プロパティ名と値のマッピング。Spark プロパティをご覧ください。serviceAccount:（省略可）。セッションの実行に使用するサービス アカウント。指定しない場合は、Compute Engine のデフォルト サービス アカウントが使用されます。subnetworkUri:（省略可）。セッション リージョン内のサブネットの名前。指定しない場合、Serverless for Apache Spark はセッション リージョンのdefaultサブネットを使用します。Apache Spark 用サーバーレスは、サブネットでプライベート Google アクセス（PGA）を有効にします。ネットワーク接続の要件については、Google Cloud Apache Spark 用サーバーレスのネットワーク構成をご覧ください。
セッション テンプレートを作成する
Serverless for Apache Spark セッション テンプレートは、1 つ以上の Serverless for Apache Spark インタラクティブ セッションを作成するための構成設定を定義します。 Google Cloud コンソール、gcloud CLI、または Dataproc API を使用して、Jupyter セッションまたは Spark Connect セッション用の Apache Spark セッション テンプレートのサーバーレスを作成できます。
コンソール
Google Cloud コンソールを使用して Serverless for Apache Spark セッション テンプレートを作成するには、次の操作を行います。
Google Cloud コンソールで、[セッション テンプレート] ページに移動します。
- [作成] をクリックします。
[セッション テンプレートの作成] ページで、テンプレート構成設定を入力または確認します。次の点にご注意ください。
- テンプレート ランタイム ID: 必須。デフォルトの ID（名前）を使用するか、テンプレート ランタイム名を指定します。
- Region: 必須。デフォルトのリージョンをそのまま使用するか、テンプレート セッションの使用可能なリージョンを指定します。
- ランタイム バージョン: 省略可。選択可能なセッション ランタイムは、Apache Spark 向けサーバーレス ランタイム バージョンに対応しています。
- BigQuery Studio ノートブック セッションの要件: BigQuery Studio ノートブックの Spark Connect セッションで使用するテンプレートを作成する場合は、Spark ランタイム バージョン 2.3 以降を使用する必要があります。
- テンプレート構成タイプ: 必須。タイプを選択します。
Jupyterを選択した場合は、表示名を指定し、Jupyter カーネルタイプを選択します。Apache Spark 用サーバーレスで Jupyter ノートブックを起動するもご覧ください。- BigQuery Studio ノートブック セッションの要件: BigQuery Studio ノートブック セッションでは、テンプレート構成タイプとして Spark Connect を指定する必要があります。
- サービス アカウント: 省略可。テンプレート化されたセッションの実行に使用するサービス アカウント。指定しない場合は、Compute Engine のデフォルト サービス アカウントが使用されます。
- カスタム コンテナ イメージ: 省略可。テンプレート セッションで使用するカスタム コンテナ イメージ。
- プロパティ: 省略可。テンプレート セッションに設定するプロパティごとに [アイテムを追加] をクリックします。詳細については、Spark プロパティをご覧ください。
- ネットワーク構成: * 必須。セッション リージョンでサブネットワークを選択します。Apache Spark 用サーバーレスは、指定されたサブネットでプライベート Google アクセス（PGA）を有効にします。ネットワーク接続の要件については、Google Cloud Apache Spark 用サーバーレスのネットワーク構成をご覧ください。
[送信] をクリックして、セッション テンプレートを作成します。
gcloud
gcloud CLI を使用して Serverless for Apache Spark セッション テンプレートを直接作成することはできませんが、gcloud beta dataproc session-templates import コマンドを使用して既存のセッション テンプレートをインポートできます。インポートしたテンプレートを編集し、gcloud beta dataproc session-templates export コマンドを使用してエクスポートできます。
REST
Dataproc sessionTemplates.create API を使用して、Apache Spark 用 Serverless セッション テンプレートを作成できます。
注:
name: 必須。セッション テンプレート名。version:（省略可）。テンプレート化されたセッションでサポートされている Spark ランタイム バージョンのいずれか。バージョンを指定しない場合、デフォルトのバージョンが使用されます。- BigQuery Studio ノートブック セッションの要件: BigQuery Studio ノートブックの Spark Connect セッションで使用するテンプレートを作成する場合は、Spark ランタイム バージョン 2.3 以降を使用する必要があります。
sessionConfig:jupyter_sessionまたはspark_connect_sessionのいずれかを指定します。jupyter_sessionを指定する場合は、JupyterConfig.display_nameとJupyterConfig.kernelも指定します。Apache Spark 用サーバーレスで Jupyter ノートブックを起動するもご覧ください。- BigQuery Studio ノートブック セッションの要件: BigQuery Studio ノートブック セッションでは、テンプレート構成タイプとして Spark Connect を指定する必要があります。
containerImage:（省略可）。テンプレート セッションで使用するカスタム コンテナ イメージ。properties:（省略可）。セッション プロパティ名と値のマッピング。Spark プロパティをご覧ください。serviceAccount:（省略可）。テンプレート化されたセッションの実行に使用するサービス アカウント。指定しない場合は、Compute Engine のデフォルト サービス アカウントが使用されます。subnetworkUri:（省略可）。セッション リージョン内のサブネットの名前。指定しない場合、Serverless for Apache Spark はセッション リージョンのdefaultサブネットを使用します。Apache Spark 用サーバーレスは、サブネットでプライベート Google アクセス（PGA）を有効にします。ネットワーク接続の要件については、Google Cloud Apache Spark 用サーバーレスのネットワーク構成をご覧ください。