Spark 引擎 3.5
组件 | 3.5- Dataproc-17 |
---|---|
Apache Spark | 3.5.0 |
Hadoop 库 | 3.3.6 |
Cloud Storage 连接器 | 3.0.0 |
Java | 11 |
Python | 3.8.5 |
Conda | 4.9.2 |
R | 4.3.0 |
Spark 引擎 3.1
组件 | 3.1- Dataproc-17 | 3.1- Dataproc-16 | 3.1- Dataproc-15 | 3.1- Dataproc-14 |
---|---|---|---|---|
Apache Spark | 3.1.3 | 3.1.3 | 3.1.3 | 3.1.3 |
Hadoop 库 | 3.2.3 | 3.2.3 | 3.2.3 | 3.2.3 |
Cloud Storage 连接器 | hasoop3-2.2.13 | hasoop3-2.2.13 | hasoop3-2.2.11 | hasoop3-2.2.11 |
Java | 8 | 8 | 8 | 8 |
Python | 3.8.5 | 3.8.5 | 3.8.5 | 3.8.5 |
Conda | 4.9.2 | 23.5.0 | 4.9.2 | 4.9.2 |
R | 4.3.0 | 4.3.0 | 4.2.3 | 4.2.3 |
Spark Engine 2.4(已弃用)
Spark 2.4 已达到 DPGKE 支持终止期限。公开映像将继续可用,而无需进一步的支持。
组件 | 2.4- Dataproc-17 | 2.4- Dataproc-16 | 2.4- Dataproc-15 | 2.4- Dataproc-14 |
---|---|---|---|---|
Apache Spark | 2.4.8 | 2.4.8 | 2.4.8 | 2.4.8 |
Hadoop 库 | 2.10.2 | 2.10.2 | 2.10.2 | 2.10.2 |
Cloud Storage 连接器 | hasoop2-2.1.9 | hasoop2-2.1.9 | hasoop2-2.1.9 | hasoop2-2.1.9 |
Java | 8 | 8 | 8 | 8 |
Python | 3.7.4 | 3.7.4 | 3.7.4 | 3.7.4 |
Conda | 4.7.12 | 22.11.1 | 22.11.1 | 22.1.0 |
R | 3.6.3 | 3.6.3 | 3.6.3 | 3.6.3 |
完全限定的 Spark 引擎发布版本表示为:3.1-dataproc-[NUMBER]
或 3.5-dataproc-[NUMBER]
,例如 3.1-dataproc-17
或 3.5-dataproc-17
。
Spark 版本格式也可以用别名形式表示,如以下示例所示:
3
- 最新版本的 Spark 引擎,其 Spark 主要版本为 3。3.1
- 最新版本的 Spark 引擎,其 Spark 主要.minor 版本为 3.1。3.5
- 最新版本的 Spark 引擎,其 Spark 主要.minor 版本为 3.5。dataproc-2.0
- 与 Compute Engine2.0
映像上的 Dataproc 兼容的最新版 Spark 引擎。dataproc-2.2
- 与 Compute Engine2.2
映像上的 Dataproc 兼容的最新版 Spark 引擎。latest
- 最新版本的 Spark 引擎。