Compatibilidade do Dataproc sem servidor para versões de ambiente de execução do Spark
Versão | Última atualização | Liberada em | Compatível até | Disponível até | Observações |
---|---|---|---|---|---|
Ambiente de execução do Spark 2.2 LTS | 05/07/2024 | 27/03/2024 | 30/09/2026 | 30/09/2028 | Versão de disponibilidade geral. |
Ambiente de execução do Spark 2.0 | 05/07/2024 | 21/10/2022 | 30/06/2024 | 30/06/2026 | Versão de disponibilidade geral. Essa é a versão padrão. |
Ambiente de execução do Spark 1.2 LTS | 05/07/2024 | 27/03/2024 | 30/09/2026 | 30/09/2028 | Versão de disponibilidade geral. |
Ambiente de execução do Spark 1.1 LTS | 05/07/2024 | 27/01/2023 | 31/07/2025 | 31/07/2027 | Versão de disponibilidade geral. |
Como escolher uma versão do ambiente de execução do Dataproc sem servidor para o Spark
A versão padrão atual do ambiente de execução do Dataproc sem servidor está listada em Compatível com o Dataproc sem servidor para as versões do ambiente de execução do Spark. É possível usar o console do Google Cloud, CLI gcloud e a API para escolher uma versão de ambiente de execução diferente ao enviar uma carga de trabalho em lote.
Console
- Abra a página Criar lote do Dataproc no console do Google Cloud.
- Em Contêiner, na seção Versão do ambiente de execução, selecione uma das opções listamos as versões de ambiente de execução do Dataproc sem servidor.
gcloud
Use a sinalização dataproc batches submit --version
para especificar
Versão do ambiente de execução do Dataproc sem servidor.
Exemplo:
gcloud dataproc batches submit JOB_TYPE \ --region=REGION \ --version=VERSION (for example, 2.1) other args ...
API
Use o RuntimeConfig.version.
como parte de um batches.create
Chamada de API para especificar uma versão de ambiente de execução sem servidor do Dataproc.
Dataproc sem servidor incompatível com as versões do ambiente de execução do Spark
As seguintes versões do Dataproc sem servidor não são compatíveis.
Versão | Inclui | Liberada em | Última atualização | Disponível até | Observações |
---|---|---|---|---|---|
Ambiente de execução do Spark 2.1 | Apache Spark 3.4.0 Conector do Cloud Storage 2.2.20 Conector do BigQuery 0.28.1 Java 17 Conda 23.3 Python 3.11 R 4.2 Scala 2.13 |
19/01/2022 | 30/05/2024 | 30/04/2026 | Não compatível desde 30/05/2024. 2.1.50 foi a versão final lançada. |
Ambiente de execução do Spark 1.0 | Apache Spark 3.2.3 Conector do Cloud Storage 2.2.11 Conda 4.11 Java 11 Python 3.9 R 4.1 Scala 2.12.17 |
19/01/2022 | 03/02/2023 | 31/01/2025 | Não compatível desde 03/02/2023. 1.0.29 foi a versão final lançada. |