Dataproc sem servidor para versões de ambiente de execução do Spark

Compatibilidade do Dataproc sem servidor para versões de ambiente de execução do Spark

Versão Última atualização Liberada em Compatível até Disponível até Observações
Ambiente de execução do Spark 2.2 LTS 25/10/2024 27/03/2024 30/09/2026 30/09/2028 Versão de disponibilidade geral. Essa é a versão padrão.
Spark runtime 1.2 LTS 25/10/2024 27/03/2024 2026/09/30 30/09/2028 Versão de disponibilidade geral.
Ambiente de execução do Spark 1.1 LTS 25/10/2024 27/01/2023 31/07/2025 31/07/2027 Versão de disponibilidade geral.

Como escolher uma versão do ambiente de execução do Dataproc sem servidor para Spark

A versão atual do ambiente de execução do Dataproc Serverless está listada em Versões do ambiente de execução do Dataproc Serverless para Spark compatíveis. É possível usar o console do Google Cloud, CLI gcloud e o API para escolher uma versão de ambiente de execução diferente ao enviar uma carga de trabalho em lote.

Console

  1. Abra a página Criar lote do Dataproc no console do Google Cloud.
  2. Em Contêiner, na seção Versão do ambiente de execução, selecione uma das opções listamos as versões de ambiente de execução do Dataproc sem servidor.

gcloud

Use a sinalização dataproc batches submit --version para especificar Versão do ambiente de execução do Dataproc sem servidor.

Exemplo:

gcloud dataproc batches submit SPARK_WORKLOAD_TYPE \
    --region=REGION \
    --version=VERSION \
    other args ...

Substitua:

API

Use o RuntimeConfig.version. como parte de um batches.create Chamada de API para especificar uma versão de ambiente de execução sem servidor do Dataproc.

Dataproc sem servidor incompatível com as versões do ambiente de execução do Spark

As seguintes versões do Dataproc sem servidor não são compatíveis.

Versão Inclui Liberada em Última atualização Disponível até Observações
Ambiente de execução do Spark 2.1 Apache Spark 3.4.0
Conector do Cloud Storage 2.2.20
Conector do BigQuery 0.28.1
Java 17
Conda 23.3
Python 3.11
R 4.2
Scala 2.13
2022/01/19 30/05/2024 30/04/2026 Não será compatível a partir de 30/05/2024. A 2.1.50 foi a versão final lançada.
Ambiente de execução do Spark 2.0 Apache Spark 3.3.4
Conector do Cloud Storage 2.2.20
Java 17
Conda 22.9
Python 3.10
R 4.1
Scala 2.13
21/10/2022 22/08/2024 31/08/2026 Não será compatível a partir de 22/08/2024. A versão 2.0.84 foi a versão final lançada.
Ambiente de execução do Spark 1.0 Apache Spark 3.2.3
Conector do Cloud Storage 2.2.11
Conda 4.11
Java 11
Python 3.9
R 4.1
Scala 2.12.17
19/01/2022 03/02/2023 31/01/2025 Não compatível desde 03/02/2023. A versão 1.0.29 foi lançada.