Dataproc Serverless for Spark 运行时版本

支持的 Dataproc Serverless for Spark 运行时版本

版本 上次更新时间 发布日期 支持截止日期 截止日期 Notes
Spark 运行时 2.2 LTS 2024 年 7 月 5 日 2024 年 3 月 27 日 2026 年 9 月 30 日 2028 年 9 月 30 日 推出正式版。
Spark 运行时 2.0 2024 年 7 月 5 日 2022 年 10 月 21 日 2024 年 6 月 30 日 2026 年 6 月 30 日 推出正式版。这是默认版本。
Spark 运行时 1.2 LTS 2024 年 7 月 5 日 2024 年 3 月 27 日 2026 年 9 月 30 日 2028 年 9 月 30 日 推出正式版。
Spark 运行时 1.1 LTS 2024 年 7 月 5 日 2023 年 1 月 27 日 2025 年 7 月 31 日 2027 年 7 月 31 日 推出正式版。

如何选择 Dataproc Serverless for Spark 运行时版本

支持的 Dataproc Serverless for Spark 运行时版本中列出了当前的默认 Dataproc Serverless 运行时版本。在提交批量工作负载时，您可以使用 Google Cloud 控制台、gcloud CLI 和 Dataproc API 选择其他运行时版本。

控制台

  1. 在 Google Cloud 控制台中打开 Dataproc 创建批次页面。
  2. 在容器下的运行时版本部分中，选择列出的 Dataproc 无服务器运行时版本之一。

gcloud

使用 dataproc batches submit --version 标志指定 Dataproc Serverless 运行时版本。

示例：

gcloud dataproc batches submit JOB_TYPE \
    --region=REGION \
    --version=VERSION (for example, 2.1)
    other args ...

API

在 batches.create API 调用中使用 RuntimeConfig.version 字段来指定 Dataproc Serverless 运行时版本。

不支持 Dataproc Serverless for Spark 运行时版本

以下 Dataproc Serverless 版本不受支持。

版本 包含的内容 发布日期 上次更新时间 截止日期 Notes
Spark 运行时 2.1 Apache Spark 3.4.0
Cloud Storage 连接器 2.2.20
BigQuery 连接器 0.28.1
Java 17
Conda 23.3
Python 3.11
R 4.2
Scala 2.13		 2022/01/19 2024 年 5 月 30 日 2026 年 4 月 30 日 自 2024 年 5 月 30 日起停止支持。2.1.50 是最终发布的版本。
Spark 运行时 1.0 Apache Spark 3.2.3
Cloud Storage 连接器 2.2.11
Conda 4.11
Java 11
Python 3.9
R 4.1
Scala 2.12.17		 2022/01/19 2023 年 2 月 3 日 2025 年 1 月 31 日 从 2023 年 2 月 3 日起停止支持。1.0.29 是最终发布的版本。