Spark Engine 2.4
Composant | Version |
---|---|
Image Dataproc | 2,4-dataproc-5 |
Apache Spark | 2,4.8 |
Connecteur Cloud Storage | hadoop2-2.1.7 |
Java | 8 |
Python Miniconda3 | 4.7.12.1 avec Python 3.7 |
R | 3,6.3 |
Spark Engine 3.1
Composant | Version |
---|---|
Image Dataproc | 3.1-dataproc-5 |
Apache Spark | 3.1.2 |
Connecteur Cloud Storage | hadoop3-2.2.5 |
Java | 8 |
Python Miniconda3 | 4.9.2 avec Python 3.8 |
R | 4.1.3 |
Une version complète du moteur Spark est exprimée sous la forme 2.4-dataproc-[NUMBER]
ou 3.1-dataproc-[NUMBER]
(par exemple, 2.4-dataproc-3
ou 3.1-dataproc-3
).
Les formats de la version Spark peuvent également être exprimés sous forme d'alias, comme illustré dans les exemples suivants:
2
: version la plus récente du moteur Spark avec une version Spark 2 majeure2.4
: version la plus récente du moteur Spark avec une version Spark majeure.minor 2.4.3
: version la plus récente du moteur Spark avec une version Spark 3 majeure.3.1
: version la plus récente du moteur Spark avec une version Spark majeure.minor 3.1.dataproc-1.5
: version la plus récente de Spark Engine qui s'aligne largement sur les images Dataproc sur Compute Engine1.5
.dataproc-2.0
: version la plus récente de Spark Engine qui s'aligne largement sur les images Dataproc sur Compute Engine2.0
.latest
: version la plus récente du moteur Spark.