Versions de Dataproc sur GKE

Spark Engine 3.5

Composant 3.5-dataproc-17
Apache Spark 3.5.0
Bibliothèques Hadoop 3.3.6
Connecteur Cloud Storage 3.0.0
Java 11
Python 3.8.5
Conda 4.9.2
R 4.3.0

Spark Engine 3.1(obsolète)

Composant 3.1-dataproc-17 3.1-dataproc-16 3.1-dataproc-15 3.1-dataproc-14
Apache Spark 3.1.3 3.1.3 3.1.3 3.1.3
Bibliothèques Hadoop 3.2.3 3.2.3 3.2.3 3.2.3
Connecteur Cloud Storage hadoop3-2.2.13 Hadoop3-2.2.13 Hadoop3-2.2.11 hadoop3-2.2.11
Java 8 8 8 8
Python 3.8.5 3.8.5 3.8.5 3.8.5
Conda 4.9.2 23.5.0 4.9.2 4.9.2
R 4.3.0 4.3.0 4.2.3 4.2.3

Spark Engine 2.4(obsolète)

Spark 2.4 a atteint la fin de vie de la compatibilité avec DPGKE. L'image publique continue et qu'aucune assistance supplémentaire n'est disponible.

Composant 2.4-dataproc-17 2.4-dataproc-16 2.4-dataproc-15 2.4-dataproc-14
Apache Spark 2.4.8 2.4.8 2.4.8 2.4.8
Bibliothèques Hadoop 2.10.2 2.10.2 2.10.2 2.10.2
Connecteur Cloud Storage hadoop2-2.1.9 Hadoop2-2.1.9 Hadoop2-2.1.9 Hadoop2-2.1.9
Java 8 8 8 8
Python 3.7.4 3.7.4 3.7.4 3.7.4
Conda 4.7.12 22.11.1 22.11.1 22.1.0
R 3.6.3 3.6.3 3.6.3 3.6.3

Une version de moteur Spark complète est exprimée sous la forme 3.1-dataproc-[NUMBER] ou 3.5-dataproc-[NUMBER], par exemple 3.1-dataproc-17 ou 3.5-dataproc-17.

Les formats de version Spark peuvent également être exprimés sous forme d'alias, comme indiqué dans le les exemples suivants:

  • 3 : version la plus récente du moteur Spark avec la version majeure Spark 3.
  • 3.5 : version la plus récente du moteur Spark avec la version majeure.minor de Spark de 3.5.
  • dataproc-2.2 : version la plus récente du moteur Spark compatible avec les images 2.2 de Dataproc sur Compute Engine.
  • latest : version la plus récente du moteur Spark.