Dataproc Serverless Spark 运行时版本

Spark 运行时版本 2.2

组件 2.2.27
2024 年 10 月 11 日		 2.2.26
2024/10/04
 2.2.25
2024 年 9 月 30 日		 2.2.23
2024/09/23		 2.2.22
2024/09/13
Apache Spark备注 1 3.5.1 3.5.1 3.5.1 3.5.1 3.5.1
Cloud Storage 连接器 3.0.0 3.0.0 3.0.0 3.0.0 3.0.0
BigQuery 连接器 0.36.4 0.36.4 0.36.4 0.36.4 0.36.4
Java 17 17 17 17 人 17 人
Conda 24.1 24.1 24.1 24.1 24.1
Python 3.12 3.12 3.12 3.12 3.12
R 4.3 4.3 4.3 4.3 4.3
Scala 2.13 2.13 2.13 2.13 2.13

Spark 运行时版本 1.2

组件 1.2.27
2024/10/11		 1.2.26
2024/10/04
 1.2.25
2024/09/30		 1.2.23
2024/09/23		 1.2.22
2024/09/13
Apache Spark备注 1 3.5.1 3.5.1 3.5.1 3.5.1 3.5.1
Cloud Storage 连接器 3.0.0 3.0.0 3.0.0 3.0.0 3.0.0
BigQuery 连接器 0.36.4 0.36.4 0.36.4 0.36.4 0.36.4
Java 17 人 17 人 17 17 17
Conda 24.1 24.1 24.1 24.1 24.1
Python 3.12 3.12 3.12 3.12 3.12
R 4.3 4.3 4.3 4.3 4.3
Scala 2.12 2.12 2.12 2.12 2.12

Spark 运行时版本 1.1

组件 1.1.83
2024/10/11		 1.1.82
2024/10/04
 1.1.81
2024/09/30		 1.1.79
2024/09/23		 1.1.78
2024/09/13
Apache Spark备注 1 3.3.4 3.3.4 3.3.4 3.3.4 3.3.4
Cloud Storage 连接器 2.2.20 2.2.20 2.2.20 2.2.20 2.2.20
BigQuery 连接器 0.28.1 0.28.1 0.28.1 0.28.1 0.28.1
Java 11 11 11 11 11
Conda 22.11 11 月 22 日 22.11 22.11 11 月 22 日
Python 3.10 3.10 3.10 3.10 3.10
R 4.2 4.2 4.2 4.2 4.2
Scala 2.12 2.12 2.12 2.12 2.12

注意：

1. 以下 Dataproc Serverless 运行时使用以下默认字符编码：

  • 2.2：UTF-8
  • 2.0：ASCII
  • 1.2：UTF-8
  • 1.1：ASCII