Dataproc Serverless for Spark 运行时版本

支持的 Dataproc Serverless for Spark 运行时版本

版本 上次更新时间 发布日期 支持截止日期 下架日期 备注
Spark 运行时 2.2 LTS 2024/10/17 2024/03/27 2026 年 9 月 30 日 2028 年 9 月 30 日 推出正式版。这是默认版本。
Spark 运行时 1.2 LTS 2024 年 10 月 17 日 2024/03/27 2026/09/30 2028/09/30 推出正式版。
Spark 运行时 1.1 LTS 2024/10/17 2023/01/27 2025 年 7 月 31 日 2027/07/31 正式版发布。

如何选择 Dataproc Serverless for Spark 运行时版本

当前的默认 Dataproc Serverless 运行时版本列在 Dataproc Serverless for Spark 支持的运行时版本中。您可以使用 Google Cloud 控制台、gcloud CLI 和 Dataproc API 在提交批量工作负载时选择其他运行时版本。

控制台

  1. 在 Google Cloud 控制台中打开 Dataproc 创建批次页面。
  2. 在容器下的运行时版本部分中，选择 其中列出了 Dataproc Serverless 运行时版本。

gcloud

使用 dataproc batches submit --version 标志指定 Dataproc Serverless 运行时版本。

示例：

gcloud dataproc batches submit SPARK_WORKLOAD_TYPE \
    --region=REGION \
    --version=VERSION \
    other args ...

替换以下内容：

API

使用 RuntimeConfig.version 字段作为 batches.create 的一部分 用于指定 Dataproc Serverless 运行时版本的 API 调用。

不支持 Dataproc Serverless for Spark 运行时版本

以下 Dataproc Serverless 版本不受支持。

版本 包含的内容 发布日期 上次更新时间 下架日期 备注
Spark 运行时 2.1 Apache Spark 3.4.0
Cloud Storage 连接器 2.2.20
BigQuery 连接器 0.28.1
Java 17
Conda 23.3
Python 3.11
R 4.2
Scala 2.13		 2022/01/19 2024 年 5 月 30 日 2026 年 4 月 30 日 自 2024 年 5 月 30 日起不再受支持。2.1.50 是最终发布的版本。
Spark 运行时 2.0 Apache Spark 3.3.4
Cloud Storage 连接器 2.2.20
Java 17
Conda 22.9
Python 3.10
R 4.1
Scala 2.13		 2022 年 10 月 21 日 2024 年 8 月 22 日 2026 年 8 月 31 日 从 2024 年 8 月 22 日起停止支持。2.0.84 是最后发布的版本。
Spark 运行时 1.0 Apache Spark 3.2.3
Cloud Storage 连接器 2.2.11
Conda 4.11
Java 11
Python 3.9
R 4.1
Scala 2.12.17		 2022/01/19 2023 年 2 月 3 日 2025 年 1 月 31 日 从 2023 年 2 月 3 日起停止支持。1.0.29 是最后发布的版本。