Spark Engine 2.4
| 组件 | 2.4-dataproc-16 | 2.4-dataproc-15 | 2.4-dataproc-14 | 2.4-dataproc-13 |
|---|---|---|---|---|
| Apache Spark | 2.4.8 | 2.4.8 | 2.4.8 | 2.4.8 |
| Hadoop 库 | 2.10.2 | 2.10.2 | 2.10.2 | 2.10.2 |
| Cloud Storage 连接器 | hadoop2-2.1.9 | hadoop2-2.1.9 | hadoop2-2.1.9 | hadoop2-2.1.9 |
| Java | 8 | 8 | 8 | 8 |
| Python | 3.7.4 | 3.7.4 | 3.7.4 | 3.7.4 |
| Conda | 4.7.12 | 22.11.1 | 22.11.1 | 22.1.0 |
| R | 3.6.3 | 3.6.3 | 3.6.3 | 3.6.3 |
Spark Engine 3.1
| 组件 | 3.1-dataproc-16 | 3.1-dataproc-15 | 3.1-dataproc-14 | 3.1-dataproc-13 |
|---|---|---|---|---|
| Apache Spark | 3.1.3 | 3.1.3 | 3.1.3 | 3.1.3 |
| Hadoop 库 | 3.2.3 | 3.2.3 | 3.2.3 | 3.2.3 |
| Cloud Storage 连接器 | hadoop3-2.2.13 | hadoop3-2.2.13 | hadoop3-2.2.11 | hadoop3-2.2.11 |
| Java | 8 | 8 | 8 | 8 |
| Python | 3.8.5 | 3.8.5 | 3.8.5 | 3.8.5 |
| Conda | 4.9.2 | 23.5.0 | 4.9.2 | 4.9.2 |
| R | 4.3.0 | 4.3.0 | 4.2.3 | 4.2.3 |
完全限定的 Spark 引擎发布版本表示为：2.4-dataproc-[NUMBER] 或 3.1-dataproc-[NUMBER]，例如 2.4-dataproc-3 或 3.1-dataproc-3。
Spark 版本格式也可以以别名形式表示，如以下示例所示：
2- 最新版本的 Spark 引擎，Spark 主要版本为 22.4- 最新版本的 Spark 引擎，具有 2.4 的 Spark 主要.minor 版本。3- 最新版本的 Spark 引擎，Spark 主要版本为 3。3.1- 最新版本的 Spark 引擎，具有 Spark 主要版本。次要版本为 3.1。dataproc-1.5- Spark 引擎的最新版本，大致与 Compute Engine1.5映像上的 Dataproc 保持一致。dataproc-2.0- Spark 引擎的最新版本，大致与 Compute Engine2.0映像上的 Dataproc 保持一致。latest- 最新版本的 Spark 引擎。