Dataproc Serverless 运行时版本

支持的 Dataproc 无服务器版本

版本 上次更新时间 发布日期 支持截止日期 截止日期： Notes
Spark 运行时 2.2 LTS 2024 年 5 月 8 日 2024 年 3 月 27 日 2026 年 9 月 30 日 2028 年 9 月 30 日 推出正式版。
Spark 运行时 2.1 2024 年 5 月 8 日 2023 年 5 月 5 日 2024 年 5 月 31 日 2026 年 5 月 31 日 推出正式版。
Spark 运行时 2.0 2024 年 5 月 8 日 2022 年 10 月 21 日 2024 年 6 月 30 日 2026 年 6 月 30 日 推出正式版。这是默认版本。
Spark 运行时 1.2 LTS 2024 年 5 月 8 日 2024 年 3 月 27 日 2026 年 9 月 30 日 2028 年 9 月 30 日 推出正式版。
Spark 运行时 1.1 LTS 2024 年 5 月 8 日 2023 年 1 月 27 日 2025 年 7 月 31 日 2027 年 7 月 31 日 推出正式版。

如何选择 Dataproc 无服务器运行时版本

支持的 Dataproc 无服务器版本中列出了当前的默认 Dataproc 无服务器运行时版本。在提交批量工作负载时，您可以使用 Google Cloud 控制台、gcloud CLI 和 Dataproc API 选择其他运行时版本。

控制台

  1. 在 Google Cloud 控制台中打开 Dataproc 创建批次页面。
  2. 在容器下的运行时版本部分中，选择列出的其中一个 Dataproc Serverless 运行时版本。

gcloud

使用 dataproc batches submit --version 标志指定 Dataproc 无服务器运行时版本。

示例：

gcloud dataproc batches submit JOB_TYPE \
    --region=REGION \
    --version=VERSION (for example, 2.1)
    other args ...

API

在 batches.create API 调用中使用 RuntimeConfig.version 字段来指定 Dataproc Serverless 运行时版本。

不受支持的 Dataproc 无服务器版本

以下 Dataproc 无服务器版本不受支持。

版本 包含的内容 发布日期 上次更新时间 截止日期： Notes
Spark 运行时 1.0 Apache Spark 3.2.3
Cloud Storage 连接器 2.2.11
Conda 4.11
Java 11
Python 3.9
R 4.1
Scala 2.12.17		 2022/01/19 2023 年 2 月 3 日 2025 年 1 月 31 日 自 2023 年 2 月 3 日起停止支持。1.0.29 是最终发布版本。