O Google Dataproc usa versões de imagens do Ubuntu, Debian e Rocky Linux para agrupar o sistema operativo, os componentes de Big Data e os Google Cloud conetores num único pacote implementado num cluster. Para mais informações, consulte o artigo Controlo de versões do Dataproc.
Notas:
- As versões de imagens do Dataproc são suportadas durante 24 meses após o respetivo lançamento inicial.
- Geralmente, as versões de imagens do Dataproc estão disponíveis durante 24 meses após a data de fim do suporte técnico, mas um período de disponibilidade pode ser mais curto se a data de suporte técnico de uma imagem for prolongada.
Versão da imagem do Dataproc predefinida
O Dataproc atualiza a versão da imagem predefinida para a versão mais recente do Dataproc baseado no Debian disponível de forma geral após a data de lançamento da disponibilidade geral (DG).
Versões de imagens do Dataproc compatíveis
Imagens Debian
As seguintes versões de imagens baseadas no Debian são suportadas em clusters do Dataproc. Tenha em atenção que são criados novos clusters para incluir todos os patches secundários que foram feitos a uma versão desde o respetivo lançamento.
Versão | Última atualização | Lançamento a | Suportado até | Disponível até | Notas |
---|---|---|---|---|---|
3.0-debian12 | 08/09/2025 | 08/09/2025 | A determinar | A determinar | Pré-visualização do lançamento. |
2.3-debian12 | 15/09/2025 | 09/06/2025 | 09/06/2027 | 09/06/2029 | Lançamento de disponibilidade geral. |
2.2-debian12 | 15/09/2025 | 08/12/2023 | 2027/03/31 | 2027/12/31 | Lançamento de disponibilidade geral. A versão da imagem 2.2 torna-se a versão da imagem predefinida a 13 de setembro de 2024. |
2.1-debian11 | 15/09/2025 | 12/12/2022 | 31/03/2026 | 2026/12/31 | Lançamento de disponibilidade geral. |
2.0-debian10 | 15/09/2025 | 22/01/2021 | 30/09/2025 | 2026/07/31 | Lançamento de disponibilidade geral. |
Imagens do Ubuntu
As seguintes versões de imagens baseadas no Ubuntu LTS são suportadas em clusters do Dataproc. Tenha em atenção que são criados novos clusters para incluir todos os patches secundários que foram feitos a uma versão desde o respetivo lançamento.
Versão | Última atualização | Lançamento a | Suportado até | Disponível até | Notas |
---|---|---|---|---|---|
3.0-ubuntu24 | 08/09/2025 | 08/09/2025 | A determinar | A determinar | Pré-visualização do lançamento. |
2.3-ubuntu22 | 15/09/2025 | 09/06/2025 | 09/06/2027 | 09/06/2029 | Lançamento de disponibilidade geral. |
2.2-ubuntu22 | 15/09/2025 | 08/12/2023 | 2027/03/31 | 2027/12/31 | Lançamento de disponibilidade geral. |
2.1-ubuntu20 | 15/09/2025 | 12/12/2022 | 31/03/2026 | 2026/12/31 | Lançamento de disponibilidade geral. |
2.0-ubuntu18 | 15/09/2025 | 22/01/2021 | 30/09/2025 | 2026/07/31 | Lançamento de disponibilidade geral. |
Imagens do Rocky Linux
As seguintes versões de imagens baseadas no Rocky Linux são suportadas em clusters do Dataproc. Tenha em atenção que são criados novos clusters para incluir todos os patches secundários que foram feitos a uma versão desde o respetivo lançamento.
Versão | Última atualização | Lançamento a | Suportado até | Disponível até | Notas |
---|---|---|---|---|---|
3.0-rocky9 | 08/09/2025 | 08/09/2025 | A determinar | A determinar | Pré-visualização do lançamento. |
2.3-rocky9 | 15/09/2025 | 09/06/2025 | 09/06/2027 | 09/06/2029 | Lançamento de disponibilidade geral. |
2.2-rocky9 | 15/09/2025 | 08/12/2023 | 2027/03/31 | 2027/12/31 | Lançamento de disponibilidade geral. |
2.1-rocky8 | 15/09/2025 | 12/12/2022 | 31/03/2026 | 2026/12/31 | Lançamento de disponibilidade geral. |
2.0-rocky8 | 15/09/2025 | 18/02/2022 | 30/09/2025 | 2026/07/31 | Lançamento de disponibilidade geral. |
Versões de imagens do Dataproc não suportadas
As seguintes versões do Dataproc não são suportadas. O Dataproc não fornece atualizações nem apoio técnico para clusters criados com estas versões. Embora possa continuar a executar um cluster criado com uma versão não suportada, recomendamos que substitua o cluster por um novo cluster criado com uma versão suportada.
Versão | Inclui | Lançado em | Última atualização | Notas |
---|---|---|---|---|
1.5-debian10/-ubuntu18/-rocky8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage connector 2.1.9-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020/03/25:debian10/ubuntu18 2022/02/18:rocky8 |
28/04/2023 | Não suportado a partir de 28/04/2023. 1.5.89-debian10/-ubuntu18/-rocky8 foi a versão final lançada. |
2.0-centos8 |
Apache Spark 3.1.2 Apache Hadoop 3.2.2 Apache Pig 0.18.0-SNAPSHOT Apache Hive 3.1.2 Conector do Cloud Storage 2.2.4-hadoop3 Python 3.8 Scala 2.12.14 Zookeeper 3.4.14 |
16/03/2021 | 01/02/2022 | Não suportado a partir de 01/02/2022. 2.0.30-centos8 foi a versão final lançada. |
1.5-centos8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.1 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage connector 2.1.5-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
14/12/2020 | 01/02/2022 | Não suportado a partir de 01/02/2022. 1.5.56-centos8 foi a versão final lançada. |
1.4-debian10/-ubuntu18 |
Apache Spark 2.4.8 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage connector 1.9.18-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.14 |
22/03/2019 | 01/02/2022 | Não suportado a partir de 01/02/2022. 1.4.80-debian10/-ubuntu18 foi a versão final lançada. |
1.3-debian10/-ubuntu18 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage connector 1.9.18-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
29/06/2018 | 22/12/2021 | Não suportado desde 01/08/2021. 1.3.95-debian10/-ubuntu18 foi a versão final lançada, que tem vulnerabilidades do log4j2 resolvidas. Nota: as versões lançadas anteriormente são vulneráveis e têm de ser atualizadas. |
1.4-debian9 |
Apache Spark 2.4.5 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage connector 1.9.17-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.13 |
22/03/2019 | 10/07/2020 | Não suportado desde 10/07/2020. A versão 1.4.33-debian9 foi a versão final lançada. |
1.3-debian9 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage connector 1.9.17-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
29/06/2018 | 10/07/2020 | Não suportado desde 10/07/2020. 1.3.62-debian9 foi a versão final lançada. |
1.2-debian9 |
Apache Spark 2.2.3 Apache Hadoop 2.8.5 Apache Pig 0.16.0 Apache Hive 2.1.1 Cloud Storage connector 1.6.10-hadoop2 BigQuery connector 0.10.11-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
21/07/2017 | 10/07/2020 | Não suportado desde 10/07/2020. A versão 1.2.102-debian9 foi a versão final lançada. |
1.1-debian9 |
Apache Spark 2.0.2 Apache Hadoop 2.7.7 Apache Pig 0.16.0 Apache Hive 2.1.1 Conetor do Cloud Storage 1.6.10-hadoop2 Conetor do BigQuery 0.10.11-hadoop2 |
08/08/2016 | 26/09/2019 | Não suportado desde 01/10/2019. 1.1.121-debian9 é a versão final lançada. |
1.0-debian9 |
Apache Spark 1.6.2 Apache Hadoop 2.7.4 Apache Pig 0.15.0 Apache Hive 1.2.1 Conetor do Cloud Storage 1.6.10-hadoop2 Conetor do BigQuery 0.10.11-hadoop2 |
22/02/2016 | 2019/05/09 | Primeiro lançamento da imagem do GA. Não suportado desde 01/04/2019. A versão 1.0.119-debian9 foi a versão final lançada. |
0.2 |
Apache Spark 1.5.2 Apache Hadoop 2.7.1 Apache Pig 0.15.0 Apache Hive 1.2.1 Conetor do Cloud Storage 1.5.1-hadoop2 Conetor do BigQuery 0.7.7-hadoop2 |
18/11/2015 | 2016/08/02 | Segunda versão da imagem beta. |
0.1 |
Apache Spark 1.5.0 Apache Hadoop 2.7.1 Apache Pig 0.14.10 Apache Hive 1.0 Conetor do Cloud Storage 1.5.1-hadoop2 Conetor do BigQuery 0.7.7-hadoop2 |
23/09/2015 | 2016/08/02 | Versão beta do Dataproc. O Spark 1.5 foi compilado com base no Hive 1.2. |