Dataproc Serverless for Spark 运行时版本

支持的 Dataproc Serverless for Spark 运行时版本

版本 上次更新时间 发布日期 支持截止日期 下架日期 备注
Spark 运行时 2.2 LTS 2024/10/31 2024/03/27 2026/09/30 2028/09/30 正式版发布。这是默认版本。
Spark 运行时 1.2 LTS 2024/10/31 2024/03/27 2026/09/30 2028/09/30 正式版发布。
Spark 运行时 1.1 LTS 2024/10/31 2023/01/27 2025 年 7 月 31 日 2027/07/31 正式版发布。

如何选择 Dataproc Serverless for Spark 运行时版本

当前的默认 Dataproc Serverless 运行时版本列在 Dataproc Serverless for Spark 支持的运行时版本中。提交批处理工作负载时，您可以使用 Google Cloud 控制台、gcloud CLI 和 Dataproc API 选择其他运行时版本。

控制台

  1. 在 Google Cloud 控制台中打开 Dataproc 创建批处理作业页面。
  2. 在容器下的运行时版本部分中，选择所列的 Dataproc Serverless 运行时版本之一。

gcloud

使用 dataproc batches submit --version 标志指定 Dataproc Serverless 运行时版本。

示例：

gcloud dataproc batches submit SPARK_WORKLOAD_TYPE \
    --region=REGION \
    --version=VERSION \
    other args ...

替换以下内容：

API

在 batches.create API 调用中使用 RuntimeConfig.version 字段指定 Dataproc Serverless 运行时版本。

不受支持的 Dataproc Serverless for Spark 运行时版本

以下 Dataproc Serverless 版本不受支持。

版本 包含的内容 发布日期 上次更新时间 下架日期 备注
Spark 运行时 2.1 Apache Spark 3.4.0
Cloud Storage 连接器 2.2.20
BigQuery 连接器 0.28.1
Java 17
Conda 23.3
Python 3.11
R 4.2
Scala 2.13		 2022/01/19 2024 年 5 月 30 日 2026/04/30 自 2024 年 5 月 30 日起不再受支持。2.1.50 是最后发布的版本。
Spark 运行时 2.0 Apache Spark 3.3.4
Cloud Storage 连接器 2.2.20
Java 17
Conda 22.9
Python 3.10
R 4.1
Scala 2.13		 2022/10/21 2024/08/22 2026 年 8 月 31 日 自 2024 年 8 月 22 日起不再受支持。2.0.84 是最后发布的版本。
Spark 运行时 1.0 Apache Spark 3.2.3
Cloud Storage 连接器 2.2.11
Conda 4.11
Java 11
Python 3.9
R 4.1
Scala 2.12.17		 2022/01/19 2023/2/03 2025/01/31 自 2023 年 2 月 3 日起不再受支持。1.0.29 是最后发布的版本。