Versões do ambiente de execução do Dataproc Serverless para Spark

• As versões de ambiente de execução do Dataproc Serverless LTS (Long-Time-Support) são compatíveis por 30 meses. As versões do ambiente de execução não LTS do Dataproc Serverless têm suporte por 12 meses.
• As versões do ambiente de execução do Dataproc Serverless continuam disponíveis por dois anos após a data de fim de suporte.

Versões do ambiente de execução do Dataproc Serverless para Spark com suporte

Versão	Última atualização	Liberada em	Compatível até	Disponível até	Observações
Spark runtime 2.2 LTS	31/10/2024	27/03/2024	2026/09/30	2028/09/30	Versão de disponibilidade geral. Essa é a versão padrão.
Spark runtime 1.2 LTS	31/10/2024	27/03/2024	2026/09/30	2028/09/30	Versão de disponibilidade geral.
Ambiente de execução do Spark 1.1 LTS	31/10/2024	27/01/2023	31/07/2025	31/07/2027	Versão de disponibilidade geral.

Como escolher uma versão do ambiente de execução do Dataproc sem servidor para Spark

A versão atual do ambiente de execução do Dataproc Serverless está listada em Versões do ambiente de execução do Dataproc Serverless para Spark. É possível usar o console do Google Cloud, CLI gcloud e a API Dataproc para escolher uma versão de ambiente de execução diferente ao enviar uma carga de trabalho em lote.

Observação: as versões do ambiente de execução do Dataproc Serverless para Spark 1.2 e 2.1+ não são compatíveis com a fixação de versões secundárias.

Console

1. Abra a página Criar lote do Dataproc no console do Google Cloud.
2. Em Contêiner, na seção Versão do ambiente de execução, selecione uma das versões do ambiente de execução do Dataproc sem servidor listadas.

gcloud

Use a flag dataproc batches submit --version para especificar uma versão de ambiente de execução do Dataproc sem servidor.

Exemplo:

gcloud dataproc batches submit SPARK_WORKLOAD_TYPE \
    --region=REGION \
    --version=VERSION \
    other args ...

Substitua:

• SPARK_WORKLOAD_TYPE::um tipo de carga de trabalho do Spark, por exemplo, spark.

• REGION: uma região disponível do Compute Engine, por exemplo, us-central1.

• VERSÃO: opcional. Uma versão do ambiente de execução do Dataproc sem servidor, por exemplo, 1.2.

API

Use o campo RuntimeConfig.version como parte de uma chamada de API batches.create para especificar uma versão do ambiente de execução do Dataproc sem servidor.

Versões do ambiente de execução do Dataproc Serverless para Spark sem suporte

As seguintes versões do Dataproc sem servidor não são compatíveis.

Versão	Inclui	Liberada em	Última atualização	Disponível até	Observações
Ambiente de execução do Spark 2.1	Apache Spark 3.4.0 Conector do Cloud Storage 2.2.20 Conector do BigQuery 0.28.1 Java 17 Conda 23.3 Python 3.11 R 4.2 Scala 2.13	2022/01/19	30/05/2024	30/04/2026	Não será compatível a partir de 30/05/2024. A 2.1.50 foi a versão final lançada.
Ambiente de execução do Spark 2.0	Apache Spark 3.3.4 Conector do Cloud Storage 2.2.20 Java 17 Conda 22.9 Python 3.10 R 4.1 Scala 2.13	21/10/2022	22/08/2024	31/08/2026	Não será compatível a partir de 22/08/2024. A versão 2.0.84 foi a versão final lançada.
Ambiente de execução do Spark 1.0	Apache Spark 3.2.3 Conector do Cloud Storage 2.2.11 Conda 4.11 Java 11 Python 3.9 R 4.1 Scala 2.12.17	2022/01/19	03/02/2023	31/01/2025	Não será compatível a partir de 03/02/2023. A 1.0.29 foi a versão final lançada.