Versions de Dataproc sur GKE

Spark Engine 2.4

Composant Version
Image Dataproc 2,4-dataproc-5
Apache Spark 2,4.8
Connecteur Cloud Storage hadoop2-2.1.7
Java 8
Python Miniconda3 4.7.12.1 avec Python 3.7
R 3,6.3

Spark Engine 3.1

Composant Version
Image Dataproc 3.1-dataproc-5
Apache Spark 3.1.2
Connecteur Cloud Storage hadoop3-2.2.5
Java 8
Python Miniconda3 4.9.2 avec Python 3.8
R 4.1.3

Une version complète du moteur Spark est exprimée sous la forme 2.4-dataproc-[NUMBER] ou 3.1-dataproc-[NUMBER] (par exemple, 2.4-dataproc-3 ou 3.1-dataproc-3).

Les formats de la version Spark peuvent également être exprimés sous forme d'alias, comme illustré dans les exemples suivants:

  • 2 : version la plus récente du moteur Spark avec une version Spark 2 majeure
  • 2.4 : version la plus récente du moteur Spark avec une version Spark majeure.minor 2.4.
  • 3 : version la plus récente du moteur Spark avec une version Spark 3 majeure.
  • 3.1 : version la plus récente du moteur Spark avec une version Spark majeure.minor 3.1.
  • dataproc-1.5 : version la plus récente de Spark Engine qui s'aligne largement sur les images Dataproc sur Compute Engine 1.5.
  • dataproc-2.0 : version la plus récente de Spark Engine qui s'aligne largement sur les images Dataproc sur Compute Engine 2.0.
  • latest : version la plus récente du moteur Spark.