Listas de versões de imagens do cluster do Dataproc

"Clusters de versão de imagem com base no Ubuntu e no Debian | Google Cloud"

O Google Dataproc usa as versões de imagem do Ubuntu, Debian e Rocky Linux para agrupar o sistema operacional, os componentes de Big Data e os conectores do Google Cloud Platform em um pacote implantado em um cluster. Para mais informações, consulte Controle de versões do Dataproc.

Versão padrão da imagem do Dataproc

Um mês após a data de lançamento de disponibilidade geral (GA), o Dataproc atualiza a versão de imagem padrão para a mais recente versão de imagem do Dataproc baseada em Debian, disponível em geral.

Versões compatíveis do Dataproc

Imagens do Debian

As seguintes versões de imagem baseadas em Debian são compatíveis com os clusters do Dataproc. Novos clusters serão criados para incluir patches subsecundários que tenham sido feitos para versões depois do lançamento.

Versão Última atualização Liberada em Compatível até Disponível até Observações
2.2-debian12 21/03/2024 08/12/2023 31/12/2025 31/12/2027 Versão de disponibilidade geral.
2.1-debian11 21/03/2024 12/12/2022 31/12/2024 31/12/2026 Versão de disponibilidade geral.
2.0-debian10 21/03/2024 22/01/2021 31/07/2024 31/07/2026 Versão de disponibilidade geral.

Imagens do Ubuntu

As seguintes versões de imagem baseadas em LTS do Ubuntu (em inglês) são compatíveis com os clusters do Dataproc. Novos clusters serão criados para incluir patches subsecundários que tenham sido feitos para versões depois do lançamento.

Versão Última atualização Liberada em Compatível até Disponível até Observações
2.2-ubuntu22 (link em inglês) 21/03/2024 08/12/2023 31/12/2025 31/12/2027 Versão de disponibilidade geral.
2.1-ubuntu20 (link em inglês) 21/03/2024 12/12/2022 31/12/2024 31/12/2026 Versão de disponibilidade geral.
2.0-ubuntu18 21/03/2024 22/01/2021 31/07/2024 31/07/2026 Versão de disponibilidade geral.

Imagens do Rocky para Linux

As seguintes versões de imagem baseadas em Linux a seguir são compatíveis com os clusters do Dataproc. Novos clusters serão criados para incluir patches subsecundários que tenham sido feitos para versões depois do lançamento.

Versão Última atualização Liberada em Compatível até Disponível até Observações
2.2-rocky9 (em inglês) 21/03/2024 08/12/2023 31/12/2025 31/12/2027 Versão de disponibilidade geral.
2.1-rocky8 (em inglês) 21/03/2024 12/12/2022 31/12/2024 31/12/2026 Versão de disponibilidade geral.
2.0-rocky8 (link em inglês) 21/03/2024 18/02/2022 31/07/2024 31/07/2026 Versão de disponibilidade geral.

Versões incompatíveis do Dataproc

As seguintes versões do Dataproc não são compatíveis. O Dataproc não oferece atualizações e suporte para clusters criados com estas versões. Embora seja possível continuar a execução de um cluster que foi criado com uma versão não compatível, recomendamos a substituição do cluster por um novo cluster criado com uma versão aceita.

Versão Inclui Liberada em Última atualização Observações
1.5-debian10/-ubuntu18/-rocky8 Apache Spark 2.4.8
Apache Hadoop 2.10.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Conector do Cloud Storage 2.1.9-hadoop2
Python 3.7
Scala 2.12.10
Zookeeper 3.4.14
2020/03/25:debian10/ubuntu18
2022/02/18:rocky8
28/04/2023 Sem suporte a partir de 28/04/2023.
A versão final lançada foi a 1.5.89-debian10/-ubuntu18/-rocky8.
2.0-centos8 Apache Spark 3.1.2
Apache Hadoop 3.2.2
Apache Pig 0.18.0-SNAPSHOT
Apache Hive 3.1.2
Conector do Cloud Storage 2.2.4-hadoop3
Python 3.8
Scala 2.12.14
Zookeeper 3.4.14
16/03/2021 01/02/2022 Sem suporte a partir de 01/02/2022.
A versão final de 2.0.30-centos8 era 2.0.30-centos8.
1.5-centos8 Apache Spark 2.4.8
Apache Hadoop 2.10.1
Apache Pig 0.17.0
Apache Hive 2.3.7
Conector do Cloud Storage 2.1.5-hadoop2
Python 3.7
Scala 2.12.10
Zookeeper 3.4.14
14/12/2020 01/02/2022 Sem suporte desde 01/02/2022.
A versão final lançada era de 1.5.56-centos8.
1.4-debian10/-ubuntu18 Apache Spark 2.4.8
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Conector do Cloud Storage 1.9.18-hadoop2
Python 3.6
Scala 2.11.12
Zookeeper 3.4.14
22/03/2019 01/02/2022 Sem suporte a partir de 01/02/2022.
A versão final lançada foi a 1.4.80-debian10/-ubuntu18.
1.3-debian10/-ubuntu18 Apache Spark 2.3.4
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Conector do Cloud Storage 1.9.18-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
29/06/2018 22/12/2021 Sem suporte em 01/08/2021.
A versão final 1.3.95-debian10/-ubuntu18 foi lançada, com vulnerabilidades do log4j2 corrigidas. Observação: as versões lançadas anteriormente são vulneráveis e precisam receber upgrade.
1.4-debian9 Apache Spark 2.4.5
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Conector do Cloud Storage 1.9.17-hadoop2
Python 3.6
Scala 2.11.12
Zookeeper 3.4.13
22/03/2019 10/07/2020 Não compatível desde 10/07/2020.
1.4.33-debian9 era a versão de lançamento final.
1.3-debian9 Apache Spark 2.3.4
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Conector do Cloud Storage 1.9.17-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
29/06/2018 10/07/2020 Não compatível desde 10/07/2020.
1.3.62-debian9 era a versão de lançamento final.
1.2-debian9 Apache Spark 2.2.3
Apache Hadoop 2.8.5
Apache Pig 0.16.0
Apache Hive 2.1.1
Conector do Cloud Storage 1.6.10-hadoop2
BigQuery connector 0.10.11-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
21/07/2017 10/07/2020 Não compatível desde 10/07/2020.
1.2.102-debian9 era a versão de lançamento final.
1.1-debian9 Apache Spark 2.0.2
Apache Hadoop 2.7.7
Apache Pig 0.16.0
Apache Hive 2.1.1
Conector do Cloud Storage 1.6.10-hadoop2
BigQuery connector 0.10.11-hadoop2
08/08/2016 26/09/2019 Não compatível desde de 01/10/2019.
1.1.121-debian9 é a versão final lançada.
1.0-debian9 Apache Spark 1.6.2
Apache Hadoop 2.7.4
Apache Pig 0.15.0
Apache Hive 1.2.1
Conector do Cloud Storage 1.6.10-hadoop2
BigQuery connector 0.10.11-hadoop2
22/02/2016 09/05/2019 Primeiro lançamento da imagem do GA.
O suporte a partir de 1º/04/2019.
1.0.119-debian9 era a versão de lançamento final.
0.2 Apache Spark 1.5.2
Apache Hadoop 2.7.1
Apache Pig 0.15.0
Apache Hive 1.2.1
Conector do Cloud Storage 1.5.1-hadoop2
BigQuery connector 0.7.7-hadoop2
18/11/2015 02/08/2016 Imagem beta, segunda versão
0.1 Apache Spark 1.5.0
Apache Hadoop 2.7.1
Apache Pig 0.14.10
Apache Hive 1.0
Conector do Cloud Storage 1.5.1-hadoop2
BigQuery connector 0.7.7-hadoop2
23/09/2015 02/08/2016 Versão beta do Dataproc.
O Spark 1.5 foi compilado em relação ao Hive 1.2.