Versions de Dataproc sur GKE

Spark 2.4

Composant Version
Image Dataproc 2,4-dataproc-5
Apache Spark 2,4
Connecteur Cloud Storage hadoop-2.1.7
Java 8
Python Miniconda3 4.7.12.1 avec Python 3.7
R 3,6

Spark Engine 3.1

Composant Version
Image Dataproc 3,1-dataproc-5
Apache Spark 3,1
Connecteur Cloud Storage Hamade3-2.2.5
Java 8
Python Miniconda3 4.9.2 avec Python 3.8
R 4.1.3

Une version complète du moteur Spark est exprimée sous la forme suivante : 2.4-dataproc-[NUMBER] ou 3.1-dataproc-[NUMBER], par exemple, 2.4-dataproc-3 ou 3.1-dataproc-3.

Les formats de la version Spark peuvent également être exprimés sous forme d'alias, comme illustré dans les exemples suivants:

  • 2 : version la plus récente de Compute Engine dont la version majeure de Spark est 2
  • 2.4 : version la plus récente du moteur Spark avec une version Spark majeure.minor 2.4.
  • 3 : version la plus récente du moteur Spark (version majeure 3 de Spark).
  • 3.1 : version la plus récente du moteur Spark avec une version Spark majeure.minor 3.1.
  • dataproc-1.5 : version la plus récente du moteur Spark qui s'aligne généralement sur les images 1.5 de Dataproc sur Compute Engine.
  • dataproc-2.0 : version la plus récente du moteur Spark qui s'aligne généralement sur les images 2.0 de Dataproc sur Compute Engine.
  • latest : version la plus récente du moteur Spark.