Listes des versions d'image des clusters Dataproc

"Clusters avec versions d'images basées sur Ubuntu et Debian | Google Cloud"

Google Dataproc utilise les versions d'image Linux Ubuntu, Debian et Rocky pour regrouper les systèmes d'exploitation, les composants de big data et les connecteurs Google Cloud Platform en un seul package est déployé sur un cluster. Pour plus d'informations, consultez la page Gestion des versions Dataproc.

Version d'image Dataproc par défaut

Dataproc met à jour la version d'image par défaut vers la dernière version Dataproc basé sur Debian en disponibilité générale après sa date de disponibilité générale.

Versions d'image Dataproc compatibles

Images Debian

Les versions d'image suivantes basées sur Debian sont compatibles avec les clusters Dataproc. Sachez que des clusters seront créés afin d'inclure tous les correctifs apportés à une version depuis son lancement.

Version Dernière mise à jour Date de sortie Compatible jusqu'à Disponible jusqu'au Remarques
2.2-debian12 18/10/2024 2023/12/08 31/12/2025 31/12/2027 Disponibilité générale. La version 2.2 de l'image devient la version par défaut le 13 septembre 2024.
2.1-debian11 2024/10/18 12/12/2022 31/12/2024 31/12/2026 Disponibilité générale.
2.0-debian10 2024/10/18 2021/01/22 31/07/2024 31/07/2026 Disponibilité générale.

Images Ubuntu

Les versions d'image suivantes basées sur Ubuntu LTS sont compatibles avec Clusters Dataproc. Sachez que des clusters seront créés afin d'inclure tous les correctifs apportés à une version depuis son lancement.

Version Dernière mise à jour Date de sortie Compatible jusqu'à Disponible jusqu'au Remarques
2.2-ubuntu22 2024/10/18 2023/12/08 31/12/2025 31/12/2027 Disponibilité générale.
2.1-Ubuntu20 2024/10/18 2022/12/12 31/12/2024 31/12/2026 Disponibilité générale.
2.0-ubuntu18 18/10/2024 2021/01/22 31/07/2024 31/07/2026 Disponibilité générale.

Images Rocky Linux

Les versions d'image suivantes basées sur Rocky Linux sont compatibles avec les clusters Dataproc. Sachez que des clusters seront créés afin d'inclure tous les correctifs apportés à une version depuis son lancement.

Version Dernière mise à jour Date de sortie Compatible jusqu'à Disponible jusqu'au Remarques
2,2-rocky9 18/10/2024 08/12/2023 31/12/2025 31/12/2027 Disponibilité générale.
2,1-rocky8 2024/10/18 12/12/2022 31/12/2024 31/12/2026 Disponibilité générale.
2.0-rocky8 2024/10/18 18/02/2022 31/07/2024 31/07/2026 Disponibilité générale.

Versions d'image Dataproc non compatibles

Les versions Dataproc suivantes ne sont pas compatibles. Dataproc ne fournit pas de mises à jour ni de compatibilité pour les clusters créés avec ces versions. Même si vous pouvez continuer à exécuter un cluster créé avec une version non compatible, il est recommandé de remplacer ce cluster par un nouveau, créé avec une version compatible.

Version Inclut Date de sortie Dernière mise à jour Remarques
1.5-debian10/-ubuntu18/-rocky8 Apache Spark 2.4.8
Apache Hadoop 2.10.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Connecteur Cloud Storage 2.1.9-hadoop2
Python 3.7
Scala 2.12.10
Zookeeper 3.4.14
2020/03/25 :debian10/ubuntu18
2022/02/18 :rocky8
28/04/2023 Non compatible depuis le 28/04/2023.
1.5.89-debian10/-ubuntu18/-rocky8 est la version finale.
2.0-centos8 Apache Spark 3.1.2
Apache Hadoop 3.2.2
Apache Pig 0.18.0-SNAPSHOT
Apache Hive 3.1.2
Connecteur Cloud Storage 2.2.4-hadoop3
Python 3.8
Scala 2.12.14
Zookeeper 3.4.14
16/03/2021 01/02/2022 Non compatible depuis le 01/02/2022.
2.0.30-centos8 est la version finale.
1.5-centos8 Apache Spark 2.4.8
Apache Hadoop 2.10.1
Apache Pig 0.17.0
Apache Hive 2.3.7
Connecteur Cloud Storage 2.1.5-hadoop2
Python 3.7
Scala 2.12.10
Zookeeper 3.4.14
2020/12/14 01/02/2022 Non compatible depuis le 01/02/2022.
1.5.56-centos8 est la version finale.
1.4-debian10/-ubuntu18 Apache Spark 2.4.8
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Connecteur Cloud Storage 1.9.18-hadoop2
Python 3.6
Scala 2.11.12
Zookeeper 3.4.14
2019/03/22 01/02/2022 Non compatible depuis le 01/02/2022.
1.4.80-debian10/-Ubuntu18 était la version finale.
1.3-debian10/-ubuntu18 Apache Spark 2.3.4
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Connecteur Cloud Storage 1.9.18-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
29/06/2018 22/12/2021 Non compatible depuis le 01/08/2021.
1.3.95-debian10/-Ubuntu18 était la dernière version publiée, pour laquelle les failles log4j2 ont été corrigées. Remarque : Les versions précédentes sont vulnérables et doivent être mises à niveau.
1.4-debian9 Apache Spark 2.4.5
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Connecteur Apache Storage 1.9.17-hadoop2
Python 3.6
Scala 2.11.12
Zookeeper 3.4.13
2019/03/22 2020/07/10 Non compatible depuis le 10/07/2020.
1.4.33-debian9 est la version finale.
1.3-debian9 Apache Spark 2.3.4
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Connecteur Cloud Storage 1.9.17-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
2018/06/29 2020/07/10 Non compatible depuis le 10/07/2020.
1.3.62-debian9 est la version finale.
1.2-debian9 Apache Spark 2.2.3
Apache Hadoop 2.8.5
Apache Pig 0.16.0
Apache Hive 2.1.1
Connecteur Cloud Storage 1.6.10-hadoop2
Connecteur BigQuery 0.10.11-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
2017/07/21 2020/07/10 Non compatible depuis le 10/07/2020.
1.2.102-debian9 est la dernière version.
1.1-debian9 Apache Spark 2.0.2
Apache Hadoop 2.7.7
Apache Pig 0.16.0
Apache Hive 2.1.1
Connecteur Cloud Storage 1.6.10-hadoop2
Connecteur BigQuery 0.10.11-hadoop2
08/08/2016 2019/09/26 Non compatible depuis le 01/10/2019.
1.1.121-debian9 est la version finale.
1.0-debian9 Apache Spark 1.6.2
Apache Hadoop 2.7.4
Apache Pig 0.15.0
Apache Hive 1.2.1
Connecteur Cloud Storage 1.6.10-hadoop2
Connecteur BigQuery 0.10.11-hadoop2
22/02/2016 2019/05/09 Première version de l'image GA.
Non compatible depuis le 01/04/2019.
1.0.119-debian9 était la version finale.
0.2 Apache Spark 1.5.2
Apache Hadoop 2.7.1
Apache Pig 0.15.0
Apache Hive 1.2.1
Connecteur Cloud Storage 1.5.1-hadoop2
Connecteur BigQuery 0.7.7-hadoop2
18/11/2015 02/08/2016 Deuxième version de l'image bêta.
0.1 Apache Spark 1.5.0
Apache Hadoop 2.7.1
Apache Pig 0.14.10
Apache Hive 1.0
Connecteur Cloud Storage 1.5.1-hadoop2
Connecteur BigQuery 0.7.7-hadoop2
23/09/2015 02/08/2016 Version bêta de Dataproc.
La version Spark 1.5 a été compilée avec Hive 1.2.