Spark Engine 3.5
Composant | 3.5-dataproc-17 |
---|---|
Apache Spark | 3.5.0 |
Bibliothèques Hadoop | 3.3.6 |
Connecteur Cloud Storage | 3.0.0 |
Java | 11 |
Python | 3.8.5 |
Conda | 4.9.2 |
R | 4.3.0 |
Spark Engine 3.1(obsolète)
Composant | 3.1-dataproc-17 | 3.1-dataproc-16 | 3.1-dataproc-15 | 3.1-dataproc-14 |
---|---|---|---|---|
Apache Spark | 3.1.3 | 3.1.3 | 3.1.3 | 3.1.3 |
Bibliothèques Hadoop | 3.2.3 | 3.2.3 | 3.2.3 | 3.2.3 |
Connecteur Cloud Storage | hadoop3-2.2.13 | Hadoop3-2.2.13 | Hadoop3-2.2.11 | hadoop3-2.2.11 |
Java | 8 | 8 | 8 | 8 |
Python | 3.8.5 | 3.8.5 | 3.8.5 | 3.8.5 |
Conda | 4.9.2 | 23.5.0 | 4.9.2 | 4.9.2 |
R | 4.3.0 | 4.3.0 | 4.2.3 | 4.2.3 |
Spark Engine 2.4(obsolète)
Spark 2.4 a atteint la fin de vie de la compatibilité avec DPGKE. L'image publique continue et qu'aucune assistance supplémentaire n'est disponible.
Composant | 2.4-dataproc-17 | 2.4-dataproc-16 | 2.4-dataproc-15 | 2.4-dataproc-14 |
---|---|---|---|---|
Apache Spark | 2.4.8 | 2.4.8 | 2.4.8 | 2.4.8 |
Bibliothèques Hadoop | 2.10.2 | 2.10.2 | 2.10.2 | 2.10.2 |
Connecteur Cloud Storage | hadoop2-2.1.9 | Hadoop2-2.1.9 | Hadoop2-2.1.9 | Hadoop2-2.1.9 |
Java | 8 | 8 | 8 | 8 |
Python | 3.7.4 | 3.7.4 | 3.7.4 | 3.7.4 |
Conda | 4.7.12 | 22.11.1 | 22.11.1 | 22.1.0 |
R | 3.6.3 | 3.6.3 | 3.6.3 | 3.6.3 |
Une version de moteur Spark complète est exprimée sous la forme 3.1-dataproc-[NUMBER]
ou 3.5-dataproc-[NUMBER]
, par exemple 3.1-dataproc-17
ou 3.5-dataproc-17
.
Les formats de version Spark peuvent également être exprimés sous forme d'alias, comme indiqué dans le les exemples suivants:
3
: version la plus récente du moteur Spark avec la version majeure Spark 3.3.5
: version la plus récente du moteur Spark avec la version majeure.minor de Spark de 3.5.dataproc-2.2
: version la plus récente du moteur Spark compatible avec les images2.2
de Dataproc sur Compute Engine.latest
: version la plus récente du moteur Spark.