Motore Spark 3.5
Componente | 3,5-dataproc-17 |
---|---|
Apache Spark | 3.5.0 |
Librerie Hadoop | 3.3.6 |
Connettore Cloud Storage | 3.0.0 |
Java | 11 |
Python | 3.8.5 |
Conda | 4.9.2 |
R | 4.3.0 |
Spark Engine 3.1
Componente | 3.1-dataproc-17 | 3.1-dataproc-16 | 3.1-dataproc-15 | 3.1-dataproc-14 |
---|---|---|---|---|
Apache Spark | 3.1.3 | 3.1.3 | 3.1.3 | 3.1.3 |
Librerie Hadoop | 3.2.3 | 3.2.3 | 3.2.3 | 3.2.3 |
Connettore Cloud Storage | wasoop3-2.2.13 | wasoop3-2.2.13 | wasoop3-2.2.11 | wasoop3-2.2.11 |
Java | 8 | 8 | 8 | 8 |
Python | 3.8.5 | 3.8.5 | 3.8.5 | 3.8.5 |
Conda | 4.9.2 | 23.5.0 | 4.9.2 | 4.9.2 |
R | 4.3.0 | 4.3.0 | 4.2.3 | 4.2.3 |
Spark Engine 2.4(deprecato)
Spark 2.4 ha raggiunto la fine del ciclo di vita per il supporto in DPGKE. L'immagine pubblica continua a essere disponibile senza ulteriore supporto.
Componente | 2.4-dataproc-17 | 2.4-dataproc-16 | 2.4-dataproc-15 | 2.4-dataproc-14 |
---|---|---|---|---|
Apache Spark | 2.4.8 | 2.4.8 | 2.4.8 | 2.4.8 |
Librerie Hadoop | 2.10.2 | 2.10.2 | 2.10.2 | 2.10.2 |
Connettore Cloud Storage | wasoop2-2.1.9 | wasoop2-2.1.9 | wasoop2-2.1.9 | wasoop2-2.1.9 |
Java | 8 | 8 | 8 | 8 |
Python | 3.7.4 | 3.7.4 | 3.7.4 | 3.7.4 |
Conda | 4.7.12 | 22.11.1 | 22.11.1 | 22.1.0 |
R | 3.6.3 | 3.6.3 | 3.6.3 | 3.6.3 |
Una versione di release completa del motore Spark viene espressa come: 3.1-dataproc-[NUMBER]
o
3.5-dataproc-[NUMBER]
, ad esempio 3.1-dataproc-17
o 3.5-dataproc-17
.
I formati della versione Spark possono essere espressi anche in formato alias, come mostrato negli esempi seguenti:
3
: la versione più recente del motore Spark con una versione principale di Spark pari a 3.3.1
: la versione più recente del motore Spark con una versione main.minor di Spark 3.1.3.5
: la versione più recente del motore Spark con una versione grandi.minor di Spark 3.5.dataproc-2.0
- Versione più recente di Spark Engine compatibile con Dataproc nelle immagini2.0
di Compute Engine.dataproc-2.2
- Versione più recente di Spark Engine compatibile con Dataproc nelle immagini2.2
di Compute Engine.latest
: la versione più recente del motore Spark.