Versions de Dataproc sur GKE

Spark 2.4

Composant	Version
Image Dataproc	2,4-dataproc-5
Apache Spark	2,4
Connecteur Cloud Storage	hadoop-2.1.7
Java	8
Python Miniconda3	4.7.12.1 avec Python 3.7
R	3,6

Spark Engine 3.1

Composant	Version
Image Dataproc	3,1-dataproc-5
Apache Spark	3,1
Connecteur Cloud Storage	Hamade3-2.2.5
Java	8
Python Miniconda3	4.9.2 avec Python 3.8
R	4.1.3

Une version complète du moteur Spark est exprimée sous la forme suivante : 2.4-dataproc-[NUMBER] ou 3.1-dataproc-[NUMBER], par exemple, 2.4-dataproc-3 ou 3.1-dataproc-3.

Les formats de la version Spark peuvent également être exprimés sous forme d'alias, comme illustré dans les exemples suivants:

• 2 : version la plus récente de Compute Engine dont la version majeure de Spark est 2
• 2.4 : version la plus récente du moteur Spark avec une version Spark majeure.minor 2.4.
• 3 : version la plus récente du moteur Spark (version majeure 3 de Spark).
• 3.1 : version la plus récente du moteur Spark avec une version Spark majeure.minor 3.1.
• dataproc-1.5 : version la plus récente du moteur Spark qui s'aligne généralement sur les images 1.5 de Dataproc sur Compute Engine.
• dataproc-2.0 : version la plus récente du moteur Spark qui s'aligne généralement sur les images 2.0 de Dataproc sur Compute Engine.
• latest : version la plus récente du moteur Spark.

Remarque : Comme les alias de version sont déréférencés au moment de la création du cluster, il n'est pas garanti que plusieurs clusters créés avec le même alias disposent de la même version concrète. Par conséquent, bien que les alias soient utiles pour garantir que le cluster est compilé avec la version la plus à jour, ils ne doivent pas être utilisés si une cohérence exacte est requise.