Spark Engine 3.5
| Componente | 3.5-dataproc-17 |
|---|---|
| Apache Spark | 3.5.0 |
| Librerie Hadoop | 3.3.6 |
| Connettore Cloud Storage | 3.0.0 |
| Java | 11 |
| Python | 3.8.5 |
| Conda | 4.9.2 |
| R | 4.3.0 |
Motore Spark 3.1(ritirato)
| Componente | 3.1-dataproc-17 | 3.1-dataproc-16 | 3.1-dataproc-15 | 3.1-dataproc-14 |
|---|---|---|---|---|
| Apache Spark | 3.1.3 | 3.1.3 | 3.1.3 | 3.1.3 |
| Librerie Hadoop | 3.2.3 | 3.2.3 | 3.2.3 | 3.2.3 |
| Connettore Cloud Storage | hadoop3-2.2.13 | hadoop3-2.2.13 | hadoop3-2.2.11 | hadoop3-2.2.11 |
| Java | 8 | 8 | 8 | 8 |
| Python | 3.8.5 | 3.8.5 | 3.8.5 | 3.8.5 |
| Conda | 4.9.2 | 23.5.0 | 4.9.2 | 4.9.2 |
| R | 4.3.0 | 4.3.0 | 4.2.3 | 4.2.3 |
Motore Spark 2.4(ritirato)
Spark 2.4 ha raggiunto il termine del ciclo di vita del supporto in DPGKE. L'immagine pubblica continuerà a essere disponibile senza ulteriore assistenza.
| Componente | 2.4-dataproc-17 | 2.4-dataproc-16 | 2.4-dataproc-15 | 2.4-dataproc-14 |
|---|---|---|---|---|
| Apache Spark | 2.4.8 | 2.4.8 | 2.4.8 | 2.4.8 |
| Librerie Hadoop | 2.10.2 | 2.10.2 | 2.10.2 | 2.10.2 |
| Connettore Cloud Storage | hadoop2-2.1.9 | hadoop2-2.1.9 | hadoop2-2.1.9 | hadoop2-2.1.9 |
| Java | 8 | 8 | 8 | 8 |
| Python | 3.7.4 | 3.7.4 | 3.7.4 | 3.7.4 |
| Conda | 4.7.12 | 22.11.1 | 22.11.1 | 22.1.0 |
| R | 3.6.3 | 3.6.3 | 3.6.3 | 3.6.3 |
Una versione della release del motore Spark completa è espressa come: 3.1-dataproc-[NUMBER] o
3.5-dataproc-[NUMBER], ad esempio 3.1-dataproc-17 o 3.5-dataproc-17.
I formati della versione di Spark possono essere espressi anche sotto forma di alias, come mostrato negli esempi seguenti:
3: la versione più recente del motore Spark con una versione principale di Spark 3.3.5: la versione più recente del motore Spark con una versione major.minor di Spark pari a 3.5.dataproc-2.2: la versione più recente del motore Spark compatibile con le immagini2.2di Dataproc su Compute Engine.latest: la versione più recente del motore Spark.