Dataproc Serverless for Spark ランタイム バージョン

サポートされている Dataproc Serverless for Spark ランタイム バージョン

バージョン 最終更新 リリース日 サポート期限 有効期限: メモ
Spark ランタイム 2.2 LTS 2024/10/11 2024/03/27 2026/09/30 2028/09/30 一般向けのリリース。これがデフォルトのバージョンです。
Spark ランタイム 1.2 LTS 2024/10/11 2024/03/27 2026/09/30 2028/09/30 一般向けのリリース。
Spark ランタイム 1.1 LTS 2024/10/11 2023/01/27 2025/07/31 2027/07/31 一般向けのリリース。

Dataproc Serverless for Spark ランタイム バージョンを選択する方法

現在のデフォルトの Dataproc Serverless ランタイム バージョンは、サポートされている Dataproc Serverless for Spark ランタイム バージョンに記載されています。 バッチ ワークロードを送信するときに、Google Cloud コンソール、gcloud CLI、Dataproc API を使用して、別のランタイム バージョンを選択できます。

Console

  1. Google Cloud コンソールで、Dataproc の [バッチ作成] ページを開きます。
  2. [コンテナ] の [ランタイム バージョン] セクションに一覧表示されている Dataproc サーバーレス ランタイム バージョンの中から 1 つを選択します。

gcloud

Dataproc サーバーレス ランタイム バージョンを指定するには、dataproc batches submit --version フラグを使用します。

例:

gcloud dataproc batches submit SPARK_WORKLOAD_TYPE \
    --region=REGION \
    --version=VERSION \
    other args ...

以下を置き換えます。

API

batches.create API 呼び出しの一部として RuntimeConfig.version フィールドを使用して、Dataproc サーバーレス ランタイム バージョンを指定します。

サポートされていない Dataproc Serverless for Spark ランタイム バージョン

次の Dataproc Serverless のバージョンはサポートされていません。

バージョン 含まれる内容 リリース日 最終更新 有効期限: メモ
Spark ランタイム 2.1 Apache Spark 3.4.0
Cloud Storage コネクタ 2.2.20
BigQuery コネクタ 0.28.1
Java 17
Conda 23.3
Python 3.11
R 4.2
Scala 2.13		 2022/01/19 2024/5/30 2026/04/30 2024 年 5 月 30 日の時点でサポートされていないバージョン。2.1.50 が最終リリース バージョンでした。
Spark ランタイム 2.0 Apache Spark 3.3.4
Cloud Storage コネクタ 2.2.20
Java 17
Conda 22.9
Python 3.10
R 4.1
Scala 2.13		 2022/10/21 2024/08/22 2026/08/31 2024 年 8 月 22 日の時点でサポートされていないバージョン。2.0.84 が最終リリース バージョンでした。
Spark ランタイム 1.0 Apache Spark 3.2.3
Cloud Storage コネクタ 2.2.11
Conda 4.11
Java 11
Python 3.9
R 4.1
Scala 2.12.17		 2022/01/19 2023/2/03 2025/01/31 2023 年 2 月 3 日の時点ではサポートされていません。1.0.29 が最終リリース バージョンでした。