Versões de lançamento do Dataproc no GKE

Spark Engine 3.5

Componente 2,4-dataproc-17
Apache Spark 3.5.0
Bibliotecas do Hadoop 3.3.6
Conector do Cloud Storage 3.0.0
Java 11
Python 3.8.5
Conda 4.9.2
R 4.3.0

Spark Engine 3.1

Componente 3.1-dataproc-17 3.1-dataproc-16 3.1-dataproc-15 3.1-dataproc-14
Apache Spark 3.1.3 3.1.3 3.1.3 3.1.3
Bibliotecas do Hadoop 3.2.3 3.2.3 3.2.3 3.2.3
Conector do Cloud Storage hadoop3-2.2.13 hadoop3-2.2.13 hadoop3-2.2.11 hadoop3-2.2.11
Java 8 8 8 8
Python 3.8.5 3.8.5 3.8.5 3.8.5
Conda 4.9.2 23.5.0 4.9.2 4.9.2
R 4.3.0 4.3.0 4.2.3 4.2.3

Spark Engine 2.4(descontinuado)

O Spark 2.4 chegou ao EOL para ser compatível com o DPGKE. A imagem pública continua disponível sem suporte adicional.

Componente 2,4-dataproc-17 2,4-dataproc-16 2,4-dataproc-15 2,4-dataproc-14
Apache Spark 2.4.8 2.4.8 2.4.8 2.4.8
Bibliotecas do Hadoop 2.10.2 2.10.2 2.10.2 2.10.2
Conector do Cloud Storage hadoop2-2,1.9 hadoop2-2,1.9 hadoop2-2,1.9 hadoop2-2,1.9
Java 8 8 8 8
Python 3.7.4 3.7.4 3.7.4 3.7.4
Conda 4.7.12 22.11.1 22.11.1 22.1.0
R 3.6.3 3.6.3 3.6.3 3.6.3

Uma versão de lançamento do mecanismo Spark totalmente qualificada é expressa como: 3.1-dataproc-[NUMBER] ou 3.5-dataproc-[NUMBER]. Por exemplo, 3.1-dataproc-17 ou 3.5-dataproc-17.

Os formatos das versões do Spark também podem ser expressos no formato de alias, conforme mostrado nos exemplos a seguir:

  • 3: a versão mais recente do mecanismo Spark com uma versão principal do Spark 3.
  • 3.1: a versão mais recente do mecanismo Spark com uma versão major.minor do Spark de 3.1.
  • 3.5: a versão mais recente do mecanismo Spark com uma versão principal.secundária do Spark de 3.5.
  • dataproc-2.0: versão mais recente do mecanismo Spark compatível com o Dataproc nas imagens 2.0 do Compute Engine.
  • dataproc-2.2: versão mais recente do mecanismo Spark compatível com o Dataproc nas imagens 2.2 do Compute Engine.
  • latest: versão mais recente do mecanismo Spark.