Dataproc Serverless Spark 运行时版本

Spark 运行时版本 2.2

组件 2.2.14
2024/07/17		 2.2.13
2024/07/11
 2.2.12
2024/07/05		 2.2.11
2024/06/26		 2.2.10
2024/06/20
Apache Spark备注 1 3.5.1 3.5.1 3.5.1 3.5.1 3.5.1
Cloud Storage 连接器 3.0.0 3.0.0 3.0.0 3.0.0 3.0.0
BigQuery 连接器 0.36.3 0.36.3 0.36.3 0.36.3 0.36.3
Java 17 人 17 人 17 人 17 人 17 人
Conda 24.1 24.1 24.1 24.1 24.1
Python 3.12 3.12 3.12 3.12 3.12
R 4.3 4.3 4.3 4.3 4.3
Scala 2.13 2.13 2.13 2.13 2.13

Spark 运行时版本 2.0

组件 2.0.78
2024/07/17		 2.0.77
2024/07/11
 2.0.76
2024/07/05		 2.0.75
2024/06/26		 2.0.74
2024/06/20
Apache Spark备注 1 3.3.4 3.3.4 3.3.4 3.3.4 3.3.4
Cloud Storage 连接器 2.2.20 2.2.20 2.2.20 2.2.20 2.2.20
Java 17 人 17 人 17 人 17 人 17 人
Conda 22.9 22.9 22.9 22.9 22.9
Python 3.10 3.10 3.10 3.10 3.10
R 4.1 4.1 4.1 4.1 4.1
Scala 2.13 2.13 2.13 2.13 2.13

Spark 运行时版本 1.2

组件 1.2.14
2024/07/17		 1.2.13
2024/07/11
 1.2.12
2024/07/05		 1.2.11
2024/06/26		 1.2.10
2024/06/20
Apache Spark备注 1 3.5.1 3.5.1 3.5.1 3.5.1 3.5.1
Cloud Storage 连接器 3.0.0 3.0.0 3.0.0 3.0.0 3.0.0
BigQuery 连接器 0.36.3 0.36.3 0.36.3 0.36.3 0.36.3
Java 17 人 17 人 17 人 17 人 17 人
Conda 24.1 24.1 24.1 24.1 24.1
Python 3.12 3.12 3.12 3.12 3.12
R 4.3 4.3 4.3 4.3 4.3
Scala 2.12 2.12 2.12 2.12 2.12

Spark 运行时版本 1.1

组件 1.1.70
2024/07/17		 1.1.69
2024/07/11
 1.1.68
2024/07/05		 1.1.67
2024/06/26		 1.1.66
2024/06/20
Apache Spark备注 1 3.3.4 3.3.4 3.3.4 3.3.4 3.3.4
Cloud Storage 连接器 2.2.20 2.2.20 2.2.20 2.2.20 2.2.20
BigQuery 连接器 0.28.1 0.28.1 0.28.1 0.28.1 0.28.1
Java 11 11 11 11 11
Conda 11 月 22 日 11 月 22 日 11 月 22 日 11 月 22 日 11 月 22 日
Python 3.10 3.10 3.10 3.10 3.10
R 4.2 4.2 4.2 4.2 4.2
Scala 2.12 2.12 2.12 2.12 2.12

注意：

1. 以下 Dataproc Serverless 运行时使用以下默认值 字符编码：

  • 2.2：UTF-8
  • 2.0：ASCII
  • 1.2：UTF-8
  • 1.1：ASCII