O Google Dataproc usa as versões de imagem do Ubuntu, Debian e Rocky Linux para agrupar o sistema operacional, os componentes de Big Data e os conectores do Google Cloud Platform em um pacote implantado em um cluster. Para mais informações, consulte Controle de versões do Dataproc.
Versão padrão da imagem do Dataproc
Um mês após a data de lançamento de disponibilidade geral (GA), o Dataproc atualiza a versão de imagem padrão para a mais recente versão de imagem do Dataproc baseada em Debian, disponível em geral.
Versões compatíveis do Dataproc
Imagens do Debian
As seguintes versões de imagem baseadas em Debian são compatíveis com os clusters do Dataproc. Novos clusters serão criados para incluir patches subsecundários que tenham sido feitos para versões depois do lançamento.
Versão | Última atualização | Liberada em | Compatível até | Disponível até | Observações |
---|---|---|---|---|---|
2.2-debian12 | 28/03/2024 | 08/12/2023 | 31/12/2025 | 31/12/2027 | Versão de disponibilidade geral. |
2.1-debian11 | 28/03/2024 | 12/12/2022 | 31/12/2024 | 31/12/2026 | Versão de disponibilidade geral. |
2.0-debian10 | 28/03/2024 | 22/01/2021 | 31/07/2024 | 31/07/2026 | Versão de disponibilidade geral. |
Imagens do Ubuntu
As seguintes versões de imagem baseadas em LTS do Ubuntu (em inglês) são compatíveis com os clusters do Dataproc. Novos clusters serão criados para incluir patches subsecundários que tenham sido feitos para versões depois do lançamento.
Versão | Última atualização | Liberada em | Compatível até | Disponível até | Observações |
---|---|---|---|---|---|
2.2-ubuntu22 (link em inglês) | 28/03/2024 | 08/12/2023 | 31/12/2025 | 31/12/2027 | Versão de disponibilidade geral. |
2.1-ubuntu20 (link em inglês) | 28/03/2024 | 12/12/2022 | 31/12/2024 | 31/12/2026 | Versão de disponibilidade geral. |
2.0-ubuntu18 | 28/03/2024 | 22/01/2021 | 31/07/2024 | 31/07/2026 | Versão de disponibilidade geral. |
Imagens do Rocky para Linux
As seguintes versões de imagem baseadas em Linux a seguir são compatíveis com os clusters do Dataproc. Novos clusters serão criados para incluir patches subsecundários que tenham sido feitos para versões depois do lançamento.
Versão | Última atualização | Liberada em | Compatível até | Disponível até | Observações |
---|---|---|---|---|---|
2.2-rocky9 (em inglês) | 28/03/2024 | 08/12/2023 | 31/12/2025 | 31/12/2027 | Versão de disponibilidade geral. |
2.1-rocky8 (em inglês) | 28/03/2024 | 12/12/2022 | 31/12/2024 | 31/12/2026 | Versão de disponibilidade geral. |
2.0-rocky8 (link em inglês) | 28/03/2024 | 18/02/2022 | 31/07/2024 | 31/07/2026 | Versão de disponibilidade geral. |
Versões incompatíveis do Dataproc
As seguintes versões do Dataproc não são compatíveis. O Dataproc não oferece atualizações e suporte para clusters criados com estas versões. Embora seja possível continuar a execução de um cluster que foi criado com uma versão não compatível, recomendamos a substituição do cluster por um novo cluster criado com uma versão aceita.
Versão | Inclui | Liberada em | Última atualização | Observações |
---|---|---|---|---|
1.5-debian10/-ubuntu18/-rocky8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector do Cloud Storage 2.1.9-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020/03/25:debian10/ubuntu18 2022/02/18:rocky8 |
28/04/2023 | Sem suporte a partir de 28/04/2023. A versão final lançada foi a 1.5.89-debian10/-ubuntu18/-rocky8. |
2.0-centos8 |
Apache Spark 3.1.2 Apache Hadoop 3.2.2 Apache Pig 0.18.0-SNAPSHOT Apache Hive 3.1.2 Conector do Cloud Storage 2.2.4-hadoop3 Python 3.8 Scala 2.12.14 Zookeeper 3.4.14 |
16/03/2021 | 01/02/2022 | Sem suporte a partir de 01/02/2022. A versão final de 2.0.30-centos8 era 2.0.30-centos8. |
1.5-centos8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.1 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector do Cloud Storage 2.1.5-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
14/12/2020 | 01/02/2022 | Sem suporte desde 01/02/2022. A versão final lançada era de 1.5.56-centos8. |
1.4-debian10/-ubuntu18 |
Apache Spark 2.4.8 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector do Cloud Storage 1.9.18-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.14 |
22/03/2019 | 01/02/2022 | Sem suporte a partir de 01/02/2022. A versão final lançada foi a 1.4.80-debian10/-ubuntu18. |
1.3-debian10/-ubuntu18 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector do Cloud Storage 1.9.18-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
29/06/2018 | 22/12/2021 | Sem suporte em 01/08/2021. A versão final 1.3.95-debian10/-ubuntu18 foi lançada, com vulnerabilidades do log4j2 corrigidas. Observação: as versões lançadas anteriormente são vulneráveis e precisam receber upgrade. |
1.4-debian9 |
Apache Spark 2.4.5 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector do Cloud Storage 1.9.17-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.13 |
22/03/2019 | 10/07/2020 | Não compatível desde 10/07/2020. 1.4.33-debian9 era a versão de lançamento final. |
1.3-debian9 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector do Cloud Storage 1.9.17-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
29/06/2018 | 10/07/2020 | Não compatível desde 10/07/2020. 1.3.62-debian9 era a versão de lançamento final. |
1.2-debian9 |
Apache Spark 2.2.3 Apache Hadoop 2.8.5 Apache Pig 0.16.0 Apache Hive 2.1.1 Conector do Cloud Storage 1.6.10-hadoop2 BigQuery connector 0.10.11-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
21/07/2017 | 10/07/2020 | Não compatível desde 10/07/2020. 1.2.102-debian9 era a versão de lançamento final. |
1.1-debian9 |
Apache Spark 2.0.2 Apache Hadoop 2.7.7 Apache Pig 0.16.0 Apache Hive 2.1.1 Conector do Cloud Storage 1.6.10-hadoop2 BigQuery connector 0.10.11-hadoop2 |
08/08/2016 | 26/09/2019 | Não compatível desde de 01/10/2019. 1.1.121-debian9 é a versão final lançada. |
1.0-debian9 |
Apache Spark 1.6.2 Apache Hadoop 2.7.4 Apache Pig 0.15.0 Apache Hive 1.2.1 Conector do Cloud Storage 1.6.10-hadoop2 BigQuery connector 0.10.11-hadoop2 |
22/02/2016 | 09/05/2019 | Primeiro lançamento da imagem do GA. O suporte a partir de 1º/04/2019. 1.0.119-debian9 era a versão de lançamento final. |
0.2 |
Apache Spark 1.5.2 Apache Hadoop 2.7.1 Apache Pig 0.15.0 Apache Hive 1.2.1 Conector do Cloud Storage 1.5.1-hadoop2 BigQuery connector 0.7.7-hadoop2 |
18/11/2015 | 02/08/2016 | Imagem beta, segunda versão |
0.1 |
Apache Spark 1.5.0 Apache Hadoop 2.7.1 Apache Pig 0.14.10 Apache Hive 1.0 Conector do Cloud Storage 1.5.1-hadoop2 BigQuery connector 0.7.7-hadoop2 |
23/09/2015 | 02/08/2016 | Versão beta do Dataproc. O Spark 1.5 foi compilado em relação ao Hive 1.2. |