Spark Engine 2.4
Componente | 2.4-dataproc-16 | 2.4-dataproc-15 | 2.4-dataproc-14 | 2.4-dataproc-13 |
---|---|---|---|---|
Apache Spark | 2.4.8 | 2.4.8 | 2.4.8 | 2.4.8 |
Bibliotecas de Hadoop | 2.10.2 | 2.10.2 | 2.10.2 | 2.10.2 |
Conector de Cloud Storage | hadoop2-2.1.9 | hadoop2-2.1.9 | hadoop2-2.1.9 | hadoop2-2.1.9 |
Java | 8 | 8 | 8 | 8 |
Python | 3.7.4 | 3.7.4 | 3.7.4 | 3.7.4 |
Conda | 4.7.12 | 22.11.1 | 22.11.1 | 22.1.0 |
R | 3.6.3 | 3.6.3 | 3.6.3 | 3.6.3 |
Spark Engine 3.1
Componente | 3.1-dataproc-16 | 3.1-dataproc-15 | 3.1-dataproc-14 | 3.1-dataproc-13 |
---|---|---|---|---|
Apache Spark | 3.1.3 | 3.1.3 | 3.1.3 | 3.1.3 |
Bibliotecas de Hadoop | 3.2.3 | 3.2.3 | 3.2.3 | 3.2.3 |
Conector de Cloud Storage | hadoop3-2.2.13 | hadoop3-2.2.13 | hadoop3-2.2.11 | hadoop3-2.2.11 |
Java | 8 | 8 | 8 | 8 |
Python | 3.8.5 | 3.8.5 | 3.8.5 | 3.8.5 |
Conda | 4.9.2 | 23.5.0 | 4.9.2 | 4.9.2 |
R | 4.3.0 | 4.3.0 | 4.2.3 | 4.2.3 |
Una versión de actualización del motor de Spark completamente calificada se expresa de la siguiente manera: 2.4-dataproc-[NUMBER]
o 3.1-dataproc-[NUMBER]
. Por ejemplo, 2.4-dataproc-3
o 3.1-dataproc-3
.
Los formatos de la versión de Spark también se pueden expresar en forma de alias, como se muestra en los siguientes ejemplos:
2
: Es la versión más reciente del motor de Spark con una versión principal de Spark 2.2.4
: Es la versión más reciente del motor de Spark con una versión mayor.minor de Spark 2.4.3
: Es la versión más reciente del motor de Spark con una versión principal de Spark 3.3.1
: Es la versión más reciente del motor de Spark con una versión mayor.minor de Spark de 3.1.dataproc-1.5
: Es la versión más reciente del motor de Spark que se alinea de forma amplia con las imágenes1.5
de Dataproc en Compute Engine.dataproc-2.0
: Es la versión más reciente del motor de Spark que se alinea de forma amplia con las imágenes2.0
de Dataproc en Compute Engine.latest
: Es la versión más reciente del motor de Spark.