Lista de versões de imagem do Dataproc

O Google Dataproc usa versões de imagem para agrupar sistemas operacionais, componentes de Big Data e conectores do Google Cloud Platform em um pacote implantado em um cluster. Para mais informações, consulte Controle de versões do Dataproc.

Versão padrão da imagem do Dataproc

O Dataproc atualiza a versão padrão da imagem para a versão mais recente disponível do Debian com base no Debian um mês após a data do GA.

Versões compatíveis do Dataproc

Imagens do Debian

As seguintes versões de imagem baseadas no Debian 10 são compatíveis com os clusters do Dataproc. Novos clusters serão criados para incluir patches subsecundários que tenham sido feitos para versões depois do lançamento.

Versão Última atualização Liberada em Compatível até Observações
2.0-debian10 19/09/2021 22/01/2021 02/2023 Versão de disponibilidade geral.
1.5-debian10 19/09/2021 25/03/2020 04/2022 Versão de disponibilidade geral.
1.4-debian10 19/09/2021 22/03/2019 11/2021 Versão de disponibilidade geral.

Imagens do Ubuntu

As versões de imagem a seguir baseadas no Ubuntu 18.04 LTS são compatíveis com os clusters do Dataproc. Novos clusters serão criados para incluir patches subsecundários que tenham sido feitos para versões depois do lançamento.

Versão Última atualização Liberada em Compatível até Observações
2.0-ubuntu18 19/09/2021 22/01/2021 02/2023 Versão de disponibilidade geral.
1.5-ubuntu18 19/09/2021 25/03/2020 04/2022 Versão de disponibilidade geral.
1.4-ubuntu18 19/09/2021 22/03/2019 11/2021 Versão de disponibilidade geral.

Imagens do CentOS

As seguintes versões de imagem baseadas no CentOS 8 são compatíveis com os clusters do Dataproc. Novos clusters serão criados para incluir patches subsecundários que tenham sido feitos para versões depois do lançamento.

Versão Última atualização Liberada em Compatível até Observações
2,0-centos8 19/09/2021 16/03/2021 02/2023 Versão de disponibilidade geral.
1.5-centos8 19/09/2021 14/12/2020 04/2022 Versão de disponibilidade geral.

Versões incompatíveis do Dataproc

As seguintes versões do Dataproc não são compatíveis. O Dataproc não oferece atualizações e suporte para clusters criados com estas versões. Embora seja possível continuar a execução de um cluster que foi criado com uma versão não compatível, recomendamos a substituição do cluster por um novo cluster criado com uma versão aceita.

Versão Inclui Liberada em Última atualização Observações
1.3-debian10/-ubuntu18 Apache Spark 2.3.4
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Conector do Cloud Storage 1.9.18-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
29/06/2018 27/07/2021 Não compatível desde 01/08/2021.
1.3.94-debian10/-ubuntu18 era a versão final lançada.
1.4-debian9 Apache Spark 2.4.5
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Conector do Cloud Storage 1.9.17-hadoop2
Python 3.6
Scala 2.11.12
Zookeeper 3.4.13
22/03/2019 10/07/2020 Não compatível desde 10/07/2020.
1.4.33-debian9 era a versão de lançamento final.
1.3-debian9 Apache Spark 2.3.4
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Conector do Cloud Storage 1.9.17-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
29/06/2018 10/07/2020 Não compatível desde 10/07/2020.
1.3.62-debian9 era a versão de lançamento final.
1.2-debian9 Apache Spark 2.2.3
Apache Hadoop 2.8.5
Apache Pig 0.16.0
Apache Hive 2.1.1
Conector do Cloud Storage 1.6.10-hadoop2
BigQuery connector 0.10.11-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
21/07/2017 10/07/2020 Não compatível desde 10/07/2020.
1.2.102-debian9 era a versão de lançamento final.
1.1-debian9 Apache Spark 2.0.2
Apache Hadoop 2.7.7
Apache Pig 0.16.0
Apache Hive 2.1.1
Conector do Cloud Storage 1.6.10-hadoop2
BigQuery connector 0.10.11-hadoop2
08/08/2016 26/09/2019 Não compatível desde de 01/10/2019.
1.1.121-debian9 é a versão final lançada.
1.0-debian9 Apache Spark 1.6.2
Apache Hadoop 2.7.4
Apache Pig 0.15.0
Apache Hive 1.2.1
Conector do Cloud Storage 1.6.10-hadoop2
BigQuery connector 0.10.11-hadoop2
22/02/2016 09/05/2019 Primeiro lançamento da imagem do GA.
O suporte a partir de 1º/04/2019.
1.0.119-debian9 era a versão de lançamento final.
0.2 Apache Spark 1.5.2
Apache Hadoop 2.7.1
Apache Pig 0.15.0
Apache Hive 1.2.1
Conector do Cloud Storage 1.5.1-hadoop2
BigQuery connector 0.7.7-hadoop2
18/11/2015 02/08/2016 Imagem beta, segunda versão
0.1 Apache Spark 1.5.0
Apache Hadoop 2.7.1
Apache Pig 0.14.10
Apache Hive 1.0
Conector do Cloud Storage 1.5.1-hadoop2
BigQuery connector 0.7.7-hadoop2
23/09/2015 02/08/2016 Versão beta do Dataproc.
O Spark 1.5 foi compilado em relação ao Hive 1.2.