Spark Engine 2.4
| Komponen | 2.4-dataproc-16 | 2.4-dataproc-15 | 2.4-dataproc-14 | 2.4-dataproc-13 |
|---|---|---|---|---|
| Apache Spark | 2.4.8 | 2.4.8 | 2.4.8 | 2.4.8 |
| Library Hadoop | 2.10.2 | 2.10.2 | 2.10.2 | 2.10.2 |
| Konektor Cloud Storage | hadoop2-2.1.9 | hadoop2-2.1.9 | hadoop2-2.1.9 | hadoop2-2.1.9 |
| Java | 8 | 8 | 8 | 8 |
| Python | 3.7.4 | 3.7.4 | 3.7.4 | 3.7.4 |
| Conda | 4.7.12 | 22.11.1 | 22.11.1 | 22.1.0 |
| R | 3.6.3 | 3.6.3 | 3.6.3 | 3.6.3 |
Spark Engine 3.1
| Komponen | 3.1-dataproc-16 | 3.1-dataproc-15 | 3.1-dataproc-14 | 3.1-dataproc-13 |
|---|---|---|---|---|
| Apache Spark | 3.1.3 | 3.1.3 | 3.1.3 | 3.1.3 |
| Library Hadoop | 3.2.3 | 3.2.3 | 3.2.3 | 3.2.3 |
| Konektor Cloud Storage | hadoop3-2.2.13 | hadoop3-2.2.13 | hadoop3-2.2.11 | hadoop3-2.2.11 |
| Java | 8 | 8 | 8 | 8 |
| Python | 3.8.5 | 3.8.5 | 3.8.5 | 3.8.5 |
| Conda | 4.9.2 | 23.5.0 | 4.9.2 | 4.9.2 |
| R | 4.3.0 | 4.3.0 | 4.2.3 | 4.2.3 |
Versi rilis mesin Spark yang sepenuhnya memenuhi syarat dinyatakan sebagai: 2.4-dataproc-[NUMBER] atau 3.1-dataproc-[NUMBER], misalnya, 2.4-dataproc-3 atau 3.1-dataproc-3.
Format Versi Spark juga dapat dinyatakan dalam bentuk alias, seperti yang ditunjukkan pada contoh berikut:
2- Versi terbaru mesin Spark dengan versi utama Spark 22.4- Versi terbaru mesin Spark dengan Spark versi major.minor 2.4.3- Versi terbaru mesin Spark dengan Spark versi utama 3.3.1- Versi terbaru mesin Spark dengan Spark versi major.minor 3.1.dataproc-1.5- Versi terbaru mesin Spark yang secara luas selaras dengan Dataproc di image1.5Compute Engine.dataproc-2.0- Versi terbaru mesin Spark yang secara luas selaras dengan Dataproc di image2.0Compute Engine.latest- Versi terbaru mesin Spark.