Listas de versões de imagem do cluster do Dataproc

O Google Dataproc usa versões de imagem do Ubuntu, Debian e Rocky Linux para agrupar sistemas operacionais, componentes de Big Data e conectores do Google Cloud Platform em um pacote implantado em um cluster. Para mais informações, consulte Controle de versões do Dataproc.

• As versões da imagem do Dataproc são compatíveis por 24 meses após o lançamento inicial.
• As versões da imagem do Dataproc continuam disponíveis por 24 meses após a data de fim do suporte.

Versão padrão da imagem do Dataproc

O Dataproc atualiza a versão padrão da imagem para a versão mais recente disponível do Dataproc com base no Debian após a data de lançamento da disponibilidade geral (GA).

Versões de imagem do Dataproc compatíveis

O Dataproc impede a criação de clusters com versões de imagem anteriores à 1.3.95, 1.4.77, 1.5.53 e 2.0.27, que foram afetadas por vulnerabilidades de segurança do Apache Log4j. O Dataproc também impede a criação de clusters para as versões de imagem 0.x, 1.0.x, 1.1.x e 1.2.x. O Dataproc recomenda que, sempre que possível, você crie clusters com as versões de imagem subsecundárias mais recentes. Consulte as Notas da versão do Dataproc para informações específicas sobre a atualização de imagens e log4j.

Imagens do Debian

As seguintes versões de imagem baseadas no Debian são compatíveis com os clusters do Dataproc. Novos clusters serão criados para incluir patches subsecundários que tenham sido feitos para versões depois do lançamento.

Ao criar um cluster baseado em Debian, é possível omitir o sufixo do código de distribuição do SO da versão da imagem, por exemplo, especificando 2.0 para selecionar a imagem 2.0-debian10. O sufixo do SO precisa ser usado para selecionar uma imagem baseada no Rocky Linux ou Ubuntu, por exemplo, especificando 2.0-ubuntu18. Consulte Selecionar Versões para ver exemplos de seleção de imagem.

Versão	Última atualização	Liberada em	Compatível até	Disponível até	Observações
2.2-debian12	21/09/2024	08/12/2023	31/12/2025	31/12/2027	Versão de disponibilidade geral. A versão 2.2 da imagem vai se tornar a versão padrão em 13 de setembro de 2024.
2.1-debian11 (link em inglês)	21/09/2024	12/12/2022	31/12/2024	31/12/2026	Versão de disponibilidade geral.
2.0-debian10	21/09/2024	22/01/2021	31/07/2024	31/07/2026	Versão de disponibilidade geral.

Imagens do Ubuntu

As seguintes versões de imagem baseadas em LTS do Ubuntu têm suporte no clusters do Dataproc. Novos clusters serão criados para incluir patches subsecundários que tenham sido feitos para versões depois do lançamento.

Versão	Última atualização	Liberada em	Compatível até	Disponível até	Observações
2.2-ubuntu22 (link em inglês)	21/09/2024	08/12/2023	31/12/2025	31/12/2027	Versão de disponibilidade geral.
2.1-ubuntu20	21/09/2024	12/12/2022	31/12/2024	31/12/2026	Versão de disponibilidade geral.
2.0-ubuntu18	21/09/2024	22/01/2021	31/07/2024	31/07/2026	Versão de disponibilidade geral.

Imagens do Rocky Linux

As seguintes versões de imagem baseadas no Rocky Linux são compatíveis com o clusters do Dataproc. Novos clusters serão criados para incluir patches subsecundários que tenham sido feitos para versões depois do lançamento.

Versão	Última atualização	Liberada em	Compatível até	Disponível até	Observações
2.2-rocky9 (link em inglês)	21/09/2024	08/12/2023	31/12/2025	31/12/2027	Versão de disponibilidade geral.
2.1-rocky8 (link em inglês)	21/09/2024	2022/12/12	31/12/2024	31/12/2026	Versão de disponibilidade geral.
2.0-rocky8 (link em inglês)	21/09/2024	18/02/2022	31/07/2024	31/07/2026	Versão de disponibilidade geral.

Versões de imagem do Dataproc sem suporte

Clique neste link para fazer o download de um script que pode ser executado para verificar se o projeto ou a organização usando uma imagem do Dataproc sem suporte.

As seguintes versões do Dataproc não são compatíveis. O Dataproc não oferece atualizações e suporte para clusters criados com estas versões. Embora seja possível continuar a execução de um cluster que foi criado com uma versão não compatível, recomendamos a substituição do cluster por um novo cluster criado com uma versão aceita.

Versão	Inclui	Liberada em	Última atualização	Observações
1.5-debian10/-ubuntu18/-rocky8	Apache Spark 2.4.8 Apache Hadoop 2.10.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector do Cloud Storage 2.1.9-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14	2020/03/25:debian10/ubuntu18 2022/02/18:rocky8	28/04/2023	Não compatível desde 28/04/2023. 1.5.89-debian10/-ubuntu18/-rocky8 era a versão final lançada.
2.0-centos8	Apache Spark 3.1.2 Apache Hadoop 3.2.2 Apache Pig 0.18.0-SNAPSHOT Apache Hive 3.1.2 Conector do Cloud Storage 2.2.4-hadoop3 Python 3.8 Scala 2.12.14 Zookeeper 3.4.14	16/03/2021	01/02/2022	Não compatível desde 01/02/2022. 2.0.30-centos8 foi a versão final lançada.
1.5-centos8	Apache Spark 2.4.8 Apache Hadoop 2.10.1 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector do Cloud Storage 2.1.5-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14	14/12/2020	01/02/2022	Não compatível desde 01/02/2022. 1.5.56-centos8 foi a versão final lançada.
1.4-debian10/-ubuntu18	Apache Spark 2.4.8 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector do Cloud Storage 1.9.18-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.14	22/03/2019	01/02/2022	Não compatível desde 01/02/2022. 1.4.80-debian10/-ubuntu18 era a versão final lançada.
1.3-debian10/-ubuntu18	Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector do Cloud Storage 1.9.18-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13	29/06/2018	22/12/2021	Não compatível desde 01/08/2021. 1.3.95-debian10/-ubuntu18 era a versão final lançada, que tinha vulnerabilidades do Log4j2 resolvidas. Observação: versões lançadas anteriormente são vulneráveis e precisam ser atualizadas.
1.4-debian9	Apache Spark 2.4.5 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector do Cloud Storage 1.9.17-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.13	22/03/2019	10/07/2020	Não compatível desde 10/07/2020. 1.4.33-debian9 era a versão de lançamento final.
1.3-debian9	Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector do Cloud Storage 1.9.17-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13	29/06/2018	10/07/2020	Não compatível desde 10/07/2020. 1.3.62-debian9 era a versão de lançamento final.
1.2-debian9	Apache Spark 2.2.3 Apache Hadoop 2.8.5 Apache Pig 0.16.0 Apache Hive 2.1.1 Conector do Cloud Storage 1.6.10-hadoop2 BigQuery connector 0.10.11-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13	21/07/2017	10/07/2020	Não compatível desde 10/07/2020. 1.2.102-debian9 era a versão de lançamento final.
1.1-debian9	Apache Spark 2.0.2 Apache Hadoop 2.7.7 Apache Pig 0.16.0 Apache Hive 2.1.1 Conector do Cloud Storage 1.6.10-hadoop2 BigQuery connector 0.10.11-hadoop2	08/08/2016	26/09/2019	Não compatível desde de 01/10/2019. 1.1.121-debian9 é a versão final lançada.
1.0-debian9	Apache Spark 1.6.2 Apache Hadoop 2.7.4 Apache Pig 0.15.0 Apache Hive 1.2.1 Conector do Cloud Storage 1.6.10-hadoop2 BigQuery connector 0.10.11-hadoop2	22/02/2016	09/05/2019	Primeiro lançamento da imagem do GA. O suporte a partir de 1º/04/2019. 1.0.119-debian9 era a versão de lançamento final.
0.2	Apache Spark 1.5.2 Apache Hadoop 2.7.1 Apache Pig 0.15.0 Apache Hive 1.2.1 Conector do Cloud Storage 1.5.1-hadoop2 BigQuery connector 0.7.7-hadoop2	18/11/2015	02/08/2016	Imagem beta, segunda versão
0.1	Apache Spark 1.5.0 Apache Hadoop 2.7.1 Apache Pig 0.14.10 Apache Hive 1.0 Conector do Cloud Storage 1.5.1-hadoop2 BigQuery connector 0.7.7-hadoop2	23/09/2015	02/08/2016	Versão beta do Dataproc. O Spark 1.5 foi compilado em relação ao Hive 1.2.