Serverlose Spark-Laufzeitversionen in Dataproc

Spark-Laufzeitversion 2.2

Komponente 2.2.8
2024/06/05
2.2.7
2024/05/29

2.2.6
2024/05/22
2.2.5
2024/05/08
2.2.4
2024/05/01
Apache SparkHinweis 1 3.5.1 3.5.1 3.5.1 3.5.1 3.5.1
Cloud Storage-Connector 3.0.0 3.0.0 3.0.0 3.0.0 3.0.0
BigQuery-Connector 0.36.2 0.36.2 0.36.2 0.36.1 0.36.1
Java 17 17 17 17 17
Conda 24,10 24,10 24,10 24,10 24,10
Python 3,12 3,12 3,12 3,12 3,12
R 4,30 4,30 4,30 4,30 4,30
Scala 2,13 2,13 2,13 2,13 2,13

Spark-Laufzeitversion 2.0

Komponente 2.0.72
2024/06/05
2.0.71
2024/05/29

2.0.70
2024/05/22
2.0.69
2024/05/08
2.0.68
2024/05/01
Apache SparkHinweis 1 3.3.4 3.3.4 3.3.4 3.3.4 3.3.4
Cloud Storage-Connector 2.2.20 2.2.20 2.2.20 2.2.20 2.2.20
Java 17 17 17 17 17
Conda 22,9 22,9 22,9 22,9 22,9
Python 3,10 3,10 3,10 3,10 3,10
R 4.1 4.1 4.1 4.1 4.1
Scala 2,13 2,13 2,13 2,13 2,13

Spark-Laufzeitversion 1.2

Komponente 1.2.8
2024/06/05
1.2.7
2024/05/29

1.2.6
2024/05/22
1.2.5
2024/05/08
1.2.4
2024/05/01
Apache SparkHinweis 1 3.5.1 3.5.1 3.5.1 3.5.1 3.5.1
Cloud Storage-Connector 3.0.0 3.0.0 3.0.0 3.0.0 3.0.0
BigQuery-Connector 0.36.2 0.36.2 0.36.2 0.36.1 0.36.1
Java 17 17 17 17 17
Conda 24,10 24,10 24,10 24,10 24,10
Python 3,12 3,12 3,12 3,12 3,12
R 4,30 4,30 4,30 4,30 4,30
Scala 2,12 2,12 2,12 2,12 2,12

Spark-Laufzeitversion 1.1

Komponente 1.1.64
2024/06/05
1.1.63
2024/05/29

1.1.62
2024/05/22
1.1.61
2024/05/08
1.1.60
2024/05/01
Apache SparkHinweis 1 3.3.4 3.3.4 3.3.4 3.3.4 3.3.4
Cloud Storage-Connector 2.2.20 2.2.20 2.2.20 2.2.20 2.2.20
BigQuery-Connector 0.28.1 0.28.1 0.28.1 0.28.1 0.28.1
Java 11 11 11 11 11
Conda 22,11 22,11 22,11 22,11 22,11
Python 3,10 3,10 3,10 3,10 3,10
R 4.2 4.2 4.2 4.2 4.2
Scala 2,12 2,12 2,12 2,12 2,12

Hinweise:

1. Die folgenden Dataproc Serverless-Laufzeiten verwenden die folgenden Standardzeichencodierungen:

  • 2.2: UTF-8
  • 2.0: ASCII
  • 1.2: UTF-8
  • 1.1: ASCII