Spark Engine 3.5
| Komponente | 3.5-dataproc-17 |
|---|---|
| Apache Spark | 3.5.0 |
| Hadoop-Bibliotheken | 3.3.6 |
| Cloud Storage-Connector | 3.0.0 |
| Java | 11 |
| Python | 3.8.5 |
| Conda | 4.9.2 |
| R | 4.3.0 |
Spark Engine 3.1 (eingestellt)
| Komponente | 3.1-dataproc-17 | 3.1-Dataproc-16 | 3.1-Dataproc-15 | 3.1-Dataproc-14 |
|---|---|---|---|---|
| Apache Spark | 3.1.3 | 3.1.3 | 3.1.3 | 3.1.3 |
| Hadoop-Bibliotheken | 3.2.3 | 3.2.3 | 3.2.3 | 3.2.3 |
| Cloud Storage-Connector | Hadoop 3-2.2.13 | Hadoop 3-2.2.13 | hadoop3-2.2.11 | hadoop3-2.2.11 |
| Java | 8 | 8 | 8 | 8 |
| Python | 3.8.5 | 3.8.5 | 3.8.5 | 3.8.5 |
| Conda | 4.9.2 | 23.5.0 | 4.9.2 | 4.9.2 |
| R | 4.3.0 | 4.3.0 | 4.2.3 | 4.2.3 |
Spark Engine 2.4(verworfen)
Spark 2.4 hat das EOL für die Unterstützung in DPGKE erreicht. Das öffentliche Image ist weiterhin ohne weitere Unterstützung verfügbar.
| Komponente | 2.4-dataproc-17 | 2.4-dataproc-16 | 2.4-Dataproc-15 | 2.4-dataproc-14 |
|---|---|---|---|---|
| Apache Spark | 2.4.8 | 2.4.8 | 2.4.8 | 2.4.8 |
| Hadoop-Bibliotheken | 2.10.2 | 2.10.2 | 2.10.2 | 2.10.2 |
| Cloud Storage-Connector | hadoop2-2.1.9 | Hadoop 2-2.1.9 | Hadoop 2-2.1.9 | Hadoop 2-2.1.9 |
| Java | 8 | 8 | 8 | 8 |
| Python | 3.7.4 | 3.7.4 | 3.7.4 | 3.7.4 |
| Conda | 4.7.12 | 22.11.1 | 22.11.1 | 22.1.0 |
| R | 3.6.3 | 3.6.3 | 3.6.3 | 3.6.3 |
Eine voll qualifizierte Spark-Engine-Releaseversion wird so ausgedrückt: 3.1-dataproc-[NUMBER] oder
3.5-dataproc-[NUMBER], z. B. 3.1-dataproc-17 oder 3.5-dataproc-17.
Spark-Versionsformate können auch in Aliasform ausgedrückt werden, wie in der folgenden Beispielen:
3: Neueste Version der Spark-Engine mit der Spark-Hauptversion 3.3.5: Neueste Version der Spark-Engine mit einer Spark-Hauptversion 3.5.dataproc-2.2– neueste Version der Spark-Engine, die mit Dataproc on Compute Engine-Images der Version2.2kompatibel ist.latest: Neueste Version der Spark-Engine.