Dataproc on GKE のリリース バージョン

Spark エンジン 2.4

コンポーネント バージョン
Dataproc イメージ 2.4-Dataproc-5
Apache Spark 2.4.8
Cloud Storage コネクタ Hadoop2-2.1.7
Java 8
Python Miniconda3 4.7.12.1 と Python 3.7
R 3.6.3

Spark エンジン 3.1

コンポーネント バージョン
Dataproc イメージ 3.1-Dataproc-5
Apache Spark 3.1.3
Cloud Storage コネクタ Hadoop3-2.2.5
Java 8
Python Miniconda3 4.9.2 と Python 3.8
R 4.1.3

完全修飾の Spark エンジン リリース バージョンは、2.4-dataproc-[NUMBER] または 3.1-dataproc-[NUMBER] で表されます（例: 2.4-dataproc-3、3.1-dataproc-3）。

Spark のバージョン形式は、次の例に示すようにエイリアス形式で表すこともできます。

  • 2 - Spark メジャー バージョン 2 のSpark エンジンの最新バージョン。
  • 2.4 - Spark major.minor バージョン　2.4　の Spark エンジンの最新バージョン。
  • 3 - Spark メジャー バージョン 3 のSpark エンジンの最新バージョン。
  • 3.1 - Spark major.minor バージョン　3.1　のSpark　エンジンの最新バージョン。
  • dataproc-1.5 - Compute Engine の 1.5 イメージで Dataproc と広く連携するSpark エンジンの最新バージョン。
  • dataproc-2.0 - Compute Engine の 2.0 イメージで Dataproc と広く連携するSpark エンジンの最新バージョン。
  • latest - Spark エンジンの最新バージョン。