O Google Dataproc usa versões de imagem para agrupar sistemas operacionais, componentes de Big Data e conectores do Google Cloud Platform em um pacote implantado em um cluster. Para mais informações, consulte Controle de versões do Dataproc.
Versões compatíveis do Dataproc
Imagens do Debian
As seguintes versões de imagem baseadas no Debian 9/10 são compatíveis com os clusters do Dataproc. Novos clusters serão criados para incluir patches subsecundários que tenham sido feitos para versões depois do lançamento.
| Versão | Última atualização | Liberada em | Notas |
|---|---|---|---|
| Visualização 2.0-debian10 | 17/07/2020 | 2020/06/11 | Versão mais recente: 2.0.0-RC5-debian10 |
| 1.5-debian10 | 17/07/2020 | 25/03/2020 | Versão de disponibilidade geral. |
| 1.4-debian9/10 | 17/07/2020 | 22/03/2019 | Após 30 de junho de 2020, o Dataproc 1.4-debian10 será a imagem 1.4 padrão. As versões de imagem 1.4-debian9 após 30 de junho de 2020 não terão garantia. |
| 1.3-debian9/10 | 17/07/2020 | 29/06/2018 | O Dataproc 1.3-debian9 foi a versão padrão para novos clusters de 22 de janeiro de 2019 até 30 de junho de 2020. Após 30 de junho de 2020, o Dataproc 1.3-debian10 será a imagem padrão 1.3. As versões de imagem 1.3-debian9 após 30 de junho de 2020 não terão garantia. |
Imagens do Ubuntu
As versões de imagem a seguir baseadas no Ubuntu 18.04 LTS são compatíveis com os clusters do Dataproc. Novos clusters serão criados para incluir patches subsecundários que tenham sido feitos para versões depois do lançamento.
| Versão | Última atualização | Liberada em | Notas |
|---|---|---|---|
| Visualização 2.0-ubuntu18 | 17/07/2020 | 2020/06/11 | Versão mais recente: 2.0.0-RC5-ubuntu18 |
| 1.5-ubuntu18 | 17/07/2020 | 25/03/2020 | |
| 1.4-ubuntu18 | 17/07/2020 | 22/03/2019 | |
| 1.3-ubuntu18 | 17/07/2020 | 22/03/2019 |
Versões incompatíveis do Dataproc
As seguintes versões do Dataproc não são compatíveis. O Dataproc não oferece atualizações e suporte para clusters criados com estas versões. Embora seja possível continuar a execução de um cluster que foi criado com uma versão não compatível, recomendamos a substituição do cluster por um novo cluster criado com uma versão aceita.
| Versão | Inclui | Liberada em | Última atualização | Observações |
|---|---|---|---|---|
1.2-debian9 |
Apache Spark 2.2.3 Apache Hadoop 2.8.5 Apache Pig 0.16.0 Apache Hive 2.1.1 Conector do Cloud Storage 1.6.10-hadoop2 Conector do BigQuery 0.10.11-hadoop2 |
21/07/2017 | 10/07/2020 | Não compatível desde 10/07/2020. 1.2.102-debian9 é a versão final lançada. |
1.1-debian9 |
Apache Spark 2.0.2 Apache Hadoop 2.7.7 Apache Pig 0.16.0 Apache Hive 2.1.1 Conector do Cloud Storage 1.6.10-hadoop2 Conector do BigQuery 0.10.11-hadoop2 |
08/08/2016 | 26/09/2019 | Não compatível desde de 01/10/2019. 1.1.121-debian9 é a versão final lançada. |
1.0-debian9 |
Apache Spark 1.6.2 Apache Hadoop 2.7.4 Apache Pig 0.15.0 Apache Hive 1.2.1 Conector do Cloud Storage 1.6.10-hadoop2 Conector do BigQuery 0.10.11-hadoop2 |
22/02/2016 | 09/05/2019 | Primeira versão da imagem do GA. Não compatível a partir de 1º de abril de 2019. 1.0.119-debian9 é a versão final lançada. |
0.2 |
Apache Spark 1.5.2 Apache Hadoop 2.7.1 Apache Pig 0.15.0 Apache Hive 1.2.1 Conector do Cloud Storage 1.5.1-hadoop2 Conector do BigQuery 0.7.7-hadoop2 |
18/11/2015 | 02/08/2016 | Imagem beta, segunda versão |
0.1 |
Apache Spark 1.5.0 Apache Hadoop 2.7.1 Apache Pig 0.14.10 Apache Hive 1.0 Conector do Cloud Storage 1.5.1-hadoop2 Conector do BigQuery 0.7.7-hadoop2 |
23/09/2015 | 02/08/2016 | Versão beta do Dataproc. O Spark 1.5 foi compilado em relação ao Hive 1.2. |