Dataproc Serverless for Spark ランタイム リリース

Spark ランタイム バージョン 2.2

コンポーネント 2.2.7
2024/05/29		 2.2.6
2024/05/22
 2.2.5
2024/05/08		 2.2.4
2024/05/01		 2.2.3
2024/04/26
Apache Spark注 1 3.5.1 3.5.1 3.5.1 3.5.1 3.5.1
Cloud Storage コネクタ 3.0.0 3.0.0 3.0.0 3.0.0 3.0.0
BigQuery コネクタ 0.36.2 0.36.2 0.36.1 0.36.1 0.36.1
Java 17 17 17 17 17
Conda 24.1 24.1 24.1 24.1 24.1
Python 3.12 3.12 3.12 3.12 3.12
R 4.3 4.3 4.3 4.3 4.3
Scala 2.13 2.13 2.13 2.13 2.13

Spark ランタイム バージョン 2.0

コンポーネント 2.0.71
2024/05/29		 2.0.70
2024/05/22
 2.0.69
2024/05/08		 2.0.68
2024/05/01		 2.0.67
2024/04/26
Apache Spark注 1 3.3.4 3.3.4 3.3.4 3.3.4 3.3.4
Cloud Storage コネクタ 2.2.20 2.2.20 2.2.20 2.2.20 2.2.20
Java 17 17 17 17 17
Conda 22.9 22.9 22.9 22.9 22.9
Python 3.10 3.10 3.10 3.10 3.10
R 4.1 4.1 4.1 4.1 4.1
Scala 2.13 2.13 2.13 2.13 2.13

Spark ランタイム バージョン 1.2

コンポーネント 1.2.7
2024/05/29		 1.2.6
2024/05/22
 1.2.5
2024/05/08		 1.2.4
2024/05/01		 1.2.3
2024/04/26
Apache Spark注 1 3.5.1 3.5.1 3.5.1 3.5.1 3.5.1
Cloud Storage コネクタ 3.0.0 3.0.0 3.0.0 3.0.0 3.0.0
BigQuery コネクタ 0.36.2 0.36.2 0.36.1 0.36.1 0.36.1
Java 17 17 17 17 17
Conda 24.1 24.1 24.1 24.1 24.1
Python 3.12 3.12 3.12 3.12 3.12
R 4.3 4.3 4.3 4.3 4.3
Scala 2.12 2.12 2.12 2.12 2.12

Spark ランタイム バージョン 1.1

コンポーネント 1.1.63
2024/05/29		 1.1.62
2024/05/22
 1.1.61
2024/05/08		 1.1.60
2024/05/01		 1.1.59
2024/04/26
Apache Spark注 1 3.3.4 3.3.4 3.3.4 3.3.4 3.3.4
Cloud Storage コネクタ 2.2.20 2.2.20 2.2.20 2.2.20 2.2.20
BigQuery コネクタ 0.28.1 0.28.1 0.28.1 0.28.1 0.28.1
Java 11 11 11 11 11
Conda 22.11 22.11 22.11 22.11 22.11
Python 3.10 3.10 3.10 3.10 3.10
R 4.2 4.2 4.2 4.2 4.2
Scala 2.12 2.12 2.12 2.12 2.12

メモ:

1. 次の Dataproc Serverless ランタイムは、次のデフォルトの文字エンコードを使用します。

  • 2.2: UTF-8
  • 2.0: ASCII
  • 1.2: UTF-8
  • 1.1: ASCII