Liste des versions d'image Dataproc

Google Dataproc utilise des versions d'image pour rassembler système d'exploitation, composants big data et connecteurs Google Cloud Platform en un seul package déployé sur un cluster. Pour plus d'informations, consultez la page Gestion des versions Dataproc.

Versions Dataproc compatibles

Images Debian

Les versions d'image suivantes basées sur Debian 10 sont compatibles avec les clusters Dataproc. Sachez que des clusters seront créés afin d'inclure tous les correctifs apportés à une version depuis son lancement.

Version Dernière mise à jour Date de sortie Compatible jusqu'au Remarques
2.0-debian10 2021/06/01 20/01/22 2023/02 Disponibilité générale.
1.5-debian10 2021/06/01 2020/03/25 2022/04 Disponibilité générale.
1.4-debian10 2021/06/01 2019/03/22 08/08/20 Disponibilité générale.
1.3-debian10 2021/06/01 2018/06/29 202/02/07 Disponibilité générale.

Images Ubuntu

Les versions d'image suivantes basées sur Ubuntu 18.04 LTS sont compatibles avec les clusters Dataproc. Sachez que des clusters seront créés afin d'inclure tous les correctifs apportés à une version depuis son lancement.

Version Dernière mise à jour Date de sortie Compatible jusqu'au Remarques
2.0-ubuntu18 2021/06/01 20/01/22 2023/02 Disponibilité générale.
1.5-ubuntu18 2021/06/01 2020/03/25 2022/04 Disponibilité générale.
1.4-ubuntu18 2021/06/01 2019/03/22 08/08/20 Disponibilité générale.
1.3-ubuntu18 2021/06/01 2019/03/22 202/02/07 Disponibilité générale.

Images CentOS

Les versions d'image suivantes basées sur CentOS 8 sont compatibles avec les clusters Dataproc. Sachez que des clusters seront créés afin d'inclure tous les correctifs apportés à une version depuis son lancement.

Version Dernière mise à jour Date de sortie Compatible jusqu'au Remarques
2,0 - centos8 2021/06/01 2021/03/16 2023/02 Disponibilité générale.
1.5-centos8 2021/06/01 2020/12/14 2022/04 Disponibilité générale.

Versions Dataproc non compatibles

Les versions Dataproc suivantes ne sont pas compatibles. Dataproc ne fournit pas de mises à jour ni de compatibilité pour les clusters créés avec ces versions. Même si vous pouvez continuer à exécuter un cluster créé avec une version non compatible, il est recommandé de remplacer ce cluster par un nouveau, créé avec une version compatible.

Version Inclut Date de sortie Dernière mise à jour Notes
1.4-debian9 Apache Spark 2.4.5
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Connecteur Apache Storage 1.9.17-hadoop2
Python 3.6
Scala 2.11.12
Zookeeper 3.4.13
2019/03/22 2020/07/10 Non compatible depuis le 10/07/2020.
1.4.33-debian9 est la version finale.
1.3-debian9 Apache Spark 2.3.4
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Connecteur Cloud Storage 1.9.17-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
2018/06/29 2020/07/10 Non compatible depuis le 10/07/2020.
1.3.62-debian9 est la version finale.
1.2-debian9 Apache Spark 2.2.3
Apache Hadoop 2.8.5
Apache Pig 0.16.0
Apache Hive 2.1.1
Connecteur Cloud Storage 1.6.10-hadoop2
Connecteur BigQuery 0.10.11-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
2017/07/21 2020/07/10 Non compatible depuis le 10/07/2020.
1.2.102-debian9 est la dernière version.
1.1-debian9 Apache Spark 2.0.2
Apache Hadoop 2.7.7
Apache Pig 0.16.0
Apache Hive 2.1.1
Connecteur Cloud Storage 1.6.10-hadoop2
Connecteur BigQuery 0.10.11-hadoop2
08/08/2016 2019/09/26 Non compatible depuis le 01/10/2019.
1.1.121-debian9 est la version finale.
1.0-debian9 Apache Spark 1.6.2
Apache Hadoop 2.7.4
Apache Pig 0.15.0
Apache Hive 1.2.1
Connecteur Cloud Storage 1.6.10-hadoop2
Connecteur BigQuery 0.10.11-hadoop2
22/02/2016 2019/05/09 Première version de l'image GA.
Non compatible depuis le 01/04/2019.
1.0.119-debian9 était la version finale.
0.2 Apache Spark 1.5.2
Apache Hadoop 2.7.1
Apache Pig 0.15.0
Apache Hive 1.2.1
Connecteur Cloud Storage 1.5.1-hadoop2
Connecteur BigQuery 0.7.7-hadoop2
18/11/2015 02/08/2016 Deuxième version de l'image bêta.
0.1 Apache Spark 1.5.0
Apache Hadoop 2.7.1
Apache Pig 0.14.10
Apache Hive 1.0
Connecteur Cloud Storage 1.5.1-hadoop2
Connecteur BigQuery 0.7.7-hadoop2
23/09/2015 02/08/2016 Version bêta de Dataproc.
La version Spark 1.5 a été compilée avec Hive 1.2.