Dataproc Serverless for Spark 运行时版本

支持的 Dataproc Serverless for Spark 运行时版本

版本 上次更新时间 发布日期 支持截止日期 截止日期 备注
Spark 运行时 2.2 LTS 2024 年 7 月 17 日 2024 年 3 月 27 日 2026 年 9 月 30 日 2028 年 9 月 30 日 推出正式版。
Spark 运行时 2.0 2024 年 7 月 17 日 2022 年 10 月 21 日 2024 年 6 月 30 日 2026 年 6 月 30 日 推出正式版。这是默认版本。
Spark 运行时 1.2 LTS 2024 年 7 月 17 日 2024 年 3 月 27 日 2026 年 9 月 30 日 2028 年 9 月 30 日 推出正式版。
Spark 运行时 1.1 LTS 2024 年 7 月 17 日 2023 年 1 月 27 日 2025 年 7 月 31 日 2027 年 7 月 31 日 推出正式版。

如何选择 Dataproc Serverless for Spark 运行时版本

当前默认 Dataproc 无服务器运行时版本列在 支持 Dataproc Serverless for Spark 运行时版本。 您可以使用 Google Cloud 控制台、gcloud CLI 和 Dataproc API 在提交批量工作负载时选择其他运行时版本。

控制台

  1. 在 Google Cloud 控制台中打开 Dataproc 创建批次页面。
  2. 在容器下的运行时版本部分中，选择 其中列出了 Dataproc Serverless 运行时版本。

gcloud

使用 dataproc batches submit --version 标志指定一个 Dataproc 无服务器运行时版本。

示例：

gcloud dataproc batches submit JOB_TYPE \
    --region=REGION \
    --version=VERSION (for example, 2.1)
    other args ...

API

使用 RuntimeConfig.version 字段作为 batches.create 的一部分 用于指定 Dataproc Serverless 运行时版本的 API 调用。

不支持 Dataproc Serverless for Spark 运行时版本

以下 Dataproc Serverless 版本不受支持。

版本 包含的内容 发布日期 上次更新时间 截止日期 备注
Spark 运行时 2.1 Apache Spark 3.4.0
Cloud Storage 连接器 2.2.20
BigQuery 连接器 0.28.1
Java 17
Conda 23.3
Python 3.11
R 4.2
Scala 2.13		 2022/01/19 2024 年 5 月 30 日 2026 年 4 月 30 日 自 2024 年 5 月 30 日起停止支持。2.1.50 是最终发布的版本。
Spark 运行时 1.0 Apache Spark 3.2.3
Cloud Storage 连接器 2.2.11
Conda 4.11
Java 11
Python 3.9
R 4.1
Scala 2.12.17		 2022/01/19 2023 年 2 月 3 日 2025 年 1 月 31 日 从 2023 年 2 月 3 日起停止支持。1.0.29 是最终发布的版本。