サポートされている Dataproc Serverless for Spark ランタイム バージョン
| バージョン | 最終更新 | リリース日 | サポート期限 | 有効期限: | メモ |
|---|---|---|---|---|---|
| Spark ランタイム 2.2 LTS | 2024/06/26 | 2024/03/27 | 2026/09/30 | 2028/09/30 | 一般向けのリリース。 |
| Spark ランタイム 2.0 | 2024/06/26 | 2022/10/21 | 2024/06/30 | 2026/06/30 | 一般向けのリリース。これがデフォルトのバージョンです。 |
| Spark ランタイム 1.2 LTS | 2024/06/26 | 2024/03/27 | 2026/09/30 | 2028/09/30 | 一般向けのリリース。 |
| Spark ランタイム 1.1 LTS | 2024/06/26 | 2023/01/27 | 2025/07/31 | 2027/07/31 | 一般向けのリリース。 |
Dataproc Serverless for Spark ランタイム バージョンを選択する方法
現在のデフォルトの Dataproc Serverless ランタイム バージョンは、サポートされている Dataproc Serverless for Spark ランタイム バージョンに記載されています。 バッチ ワークロードを送信するときに、Google Cloud コンソール、gcloud CLI、Dataproc API を使用して、別のランタイム バージョンを選択できます。
コンソール
- Google Cloud コンソールで、Dataproc の [バッチ作成] ページを開きます。
- [コンテナ] の [ランタイム バージョン] セクションに一覧表示されている Dataproc サーバーレス ランタイム バージョンの中から 1 つを選択します。
gcloud
Dataproc サーバーレス ランタイム バージョンを指定するには、dataproc batches submit --version フラグを使用します。
例:
gcloud dataproc batches submit JOB_TYPE \ --region=REGION \ --version=VERSION (for example, 2.1) other args ...
API
batches.create API 呼び出しの一部として RuntimeConfig.version フィールドを使用して、Dataproc サーバーレス ランタイム バージョンを指定します。
サポートされていない Dataproc Serverless for Spark ランタイム バージョン
次の Dataproc Serverless のバージョンはサポートされていません。
| バージョン | 含まれる内容 | リリース日 | 最終更新 | 有効期限: | メモ |
|---|---|---|---|---|---|
| Spark ランタイム 2.1 | Apache Spark 3.4.0 Cloud Storage コネクタ 2.2.20 BigQuery コネクタ 0.28.1 Java 17 Conda 23.3 Python 3.11 R 4.2 Scala 2.13 |
2022/01/19 | 2024/5/30 | 2026/04/30 | 2024 年 5 月 30 日の時点でサポートされていないバージョン。2.1.50 が最終リリース バージョンでした。 |
| Spark ランタイム 1.0 | Apache Spark 3.2.3 Cloud Storage コネクタ 2.2.11 Conda 4.11 Java 11 Python 3.9 R 4.1 Scala 2.12.17 |
2022/01/19 | 2023/2/03 | 2025/01/31 | 2023 年 2 月 3 日の時点ではサポートされていません。1.0.29 が最終リリース バージョンでした。 |