Dataproc Serverless Spark 运行时版本

Spark 运行时版本 2.2

组件 2.2.11
2024/06/26		 2.2.10
2024/06/20
 2.2.9
2024/06/13		 2.2.8
2024/06/05		 2.2.7
2024/05/29
Apache Spark备注 1 3.5.1 3.5.1 3.5.1 3.5.1 3.5.1
Cloud Storage 连接器 3.0.0 3.0.0 3.0.0 3.0.0 3.0.0
BigQuery 连接器 0.36.3 0.36.3 0.36.3 0.36.2 0.36.2
Java 17 人 17 人 17 人 17 人 17 人
Conda 24.1 24.1 24.1 24.1 24.1
Python 3.12 3.12 3.12 3.12 3.12
R 4.3 4.3 4.3 4.3 4.3
Scala 2.13 2.13 2.13 2.13 2.13

Spark 运行时版本 2.0

组件 2.0.75
2024/06/26		 2.0.74
2024/06/20
 2.0.73
2024/06/13		 2.0.72
2024/06/05		 2.0.71
2024/05/29
Apache Spark备注 1 3.3.4 3.3.4 3.3.4 3.3.4 3.3.4
Cloud Storage 连接器 2.2.20 2.2.20 2.2.20 2.2.20 2.2.20
Java 17 人 17 人 17 人 17 人 17 人
Conda 22.9 22.9 22.9 22.9 22.9
Python 3.10 3.10 3.10 3.10 3.10
R 4.1 4.1 4.1 4.1 4.1
Scala 2.13 2.13 2.13 2.13 2.13

Spark 运行时版本 1.2

组件 1.2.11
2024/06/26		 1.2.10
2024/06/20
 1.2.9
2024/06/13		 1.2.8
2024/06/05		 1.2.7
2024/05/29
Apache Spark备注 1 3.5.1 3.5.1 3.5.1 3.5.1 3.5.1
Cloud Storage 连接器 3.0.0 3.0.0 3.0.0 3.0.0 3.0.0
BigQuery 连接器 0.36.3 0.36.3 0.36.3 0.36.2 0.36.2
Java 17 人 17 人 17 人 17 人 17 人
Conda 24.1 24.1 24.1 24.1 24.1
Python 3.12 3.12 3.12 3.12 3.12
R 4.3 4.3 4.3 4.3 4.3
Scala 2.12 2.12 2.12 2.12 2.12

Spark 运行时版本 1.1

组件 1.1.67
2024/06/26		 1.1.66
2024/06/20
 1.1.65
2024/06/13		 1.1.64
2024/06/05		 1.1.63
2024/05/29
Apache Spark备注 1 3.3.4 3.3.4 3.3.4 3.3.4 3.3.4
Cloud Storage 连接器 2.2.20 2.2.20 2.2.20 2.2.20 2.2.20
BigQuery 连接器 0.28.1 0.28.1 0.28.1 0.28.1 0.28.1
Java 11 11 11 11 11
Conda 11 月 22 日 11 月 22 日 11 月 22 日 11 月 22 日 11 月 22 日
Python 3.10 3.10 3.10 3.10 3.10
R 4.2 4.2 4.2 4.2 4.2
Scala 2.12 2.12 2.12 2.12 2.12

注意：

1. 以下 Dataproc 无服务器运行时使用以下默认字符编码：

  • 2.2：UTF-8
  • 2.0：ASCII
  • 1.2：UTF-8
  • 1.1：ASCII