Versioni release di Dataproc su GKE

Motore Spark 2.4

Componente 2.4-dataproc-16 2.4-dataproc-15 2.4-dataproc-14 2.4-dataproc-13
Apache Spark 2.4.8 2.4.8 2.4.8 2.4.8
Librerie Hadoop 2.10.2 2.10.2 2.10.2 2.10.2
Connettore Cloud Storage hadoop2-2.1.9 hadoop2-2.1.9 hadoop2-2.1.9 hadoop2-2.1.9
Java 8 8 8 8
Python 3.7.4 3.7.4 3.7.4 3.7.4
Conda 4.7.12 22.11.1 22.11.1 22.1.0
R 3.6.3 3.6.3 3.6.3 3.6.3

Motore Spark 3.1

Componente 3.1-dataproc-16 3.1-dataproc-15 3.1-dataproc-14 3.1-dataproc-13
Apache Spark 3.1.3 3.1.3 3.1.3 3.1.3
Librerie Hadoop 3.2.3 3.2.3 3.2.3 3.2.3
Connettore Cloud Storage hadoop3-2.2.13 hadoop3-2.2.13 hadoop3-2.2.11 hadoop3-2.2.11
Java 8 8 8 8
Python 3.8.5 3.8.5 3.8.5 3.8.5
Conda 4.9.2 23.5.0 4.9.2 4.9.2
R 4.3.0 4.3.0 4.2.3 4.2.3

Una versione di release del motore Spark completa è espressa come 2.4-dataproc-[NUMBER] o 3.1-dataproc-[NUMBER], ad esempio 2.4-dataproc-3 o 3.1-dataproc-3.

I formati della versione Spark possono essere espressi anche in forma di alias, come mostrato nei seguenti esempi:

  • 2: versione più recente del motore Spark con una versione principale Spark pari a 2
  • 2.4: la versione più recente del motore Spark con una versione Spark major.minor 2.4.
  • 3: la versione più recente del motore Spark con una versione principale Spark pari a 3.
  • 3.1: la versione più recente del motore Spark con una versione Spark major.minor 3.1.
  • dataproc-1.5: versione più recente di Spark Engine ampiamente allineata con Dataproc sulle immagini 1.5 di Compute Engine.
  • dataproc-2.0: versione più recente di Spark Engine ampiamente allineata con Dataproc sulle immagini 2.0 di Compute Engine.
  • latest: versione più recente del motore Spark.