Spark 2.4
Composant | Version |
---|---|
Image Dataproc | 2,4-dataproc-5 |
Apache Spark | 2,4 |
Connecteur Cloud Storage | hadoop-2.1.7 |
Java | 8 |
Python Miniconda3 | 4.7.12.1 avec Python 3.7 |
R | 3,6 |
Spark Engine 3.1
Composant | Version |
---|---|
Image Dataproc | 3,1-dataproc-5 |
Apache Spark | 3,1 |
Connecteur Cloud Storage | Hamade3-2.2.5 |
Java | 8 |
Python Miniconda3 | 4.9.2 avec Python 3.8 |
R | 4.1.3 |
Une version complète du moteur Spark est exprimée sous la forme suivante : 2.4-dataproc-[NUMBER]
ou 3.1-dataproc-[NUMBER]
, par exemple, 2.4-dataproc-3
ou 3.1-dataproc-3
.
Les formats de la version Spark peuvent également être exprimés sous forme d'alias, comme illustré dans les exemples suivants:
2
: version la plus récente de Compute Engine dont la version majeure de Spark est 22.4
: version la plus récente du moteur Spark avec une version Spark majeure.minor 2.4.3
: version la plus récente du moteur Spark (version majeure 3 de Spark).3.1
: version la plus récente du moteur Spark avec une version Spark majeure.minor 3.1.dataproc-1.5
: version la plus récente du moteur Spark qui s'aligne généralement sur les images1.5
de Dataproc sur Compute Engine.dataproc-2.0
: version la plus récente du moteur Spark qui s'aligne généralement sur les images2.0
de Dataproc sur Compute Engine.latest
: version la plus récente du moteur Spark.