Google Dataproc utilise les versions d'image Linux Ubuntu, Debian et Rocky pour regrouper les systèmes d'exploitation, les composants de big data et les connecteurs Google Cloud Platform en un seul package est déployé sur un cluster. Pour plus d'informations, consultez la page Gestion des versions Dataproc.
Version d'image Dataproc par défaut
Dataproc met à jour la version d'image par défaut vers la dernière version Dataproc basé sur Debian en disponibilité générale après sa date de disponibilité générale.
Versions d'image Dataproc compatibles
Images Debian
Les versions d'image suivantes basées sur Debian sont compatibles avec les clusters Dataproc. Sachez que des clusters seront créés afin d'inclure tous les correctifs apportés à une version depuis son lancement.
Version | Dernière mise à jour | Date de sortie | Compatible jusqu'à | Disponible jusqu'au | Remarques |
---|---|---|---|---|---|
2.2-debian12 | 18/10/2024 | 2023/12/08 | 31/12/2025 | 31/12/2027 | Disponibilité générale. La version 2.2 de l'image devient la version par défaut le 13 septembre 2024. |
2.1-debian11 | 2024/10/18 | 12/12/2022 | 31/12/2024 | 31/12/2026 | Disponibilité générale. |
2.0-debian10 | 2024/10/18 | 2021/01/22 | 31/07/2024 | 31/07/2026 | Disponibilité générale. |
Images Ubuntu
Les versions d'image suivantes basées sur Ubuntu LTS sont compatibles avec Clusters Dataproc. Sachez que des clusters seront créés afin d'inclure tous les correctifs apportés à une version depuis son lancement.
Version | Dernière mise à jour | Date de sortie | Compatible jusqu'à | Disponible jusqu'au | Remarques |
---|---|---|---|---|---|
2.2-ubuntu22 | 2024/10/18 | 2023/12/08 | 31/12/2025 | 31/12/2027 | Disponibilité générale. |
2.1-Ubuntu20 | 2024/10/18 | 2022/12/12 | 31/12/2024 | 31/12/2026 | Disponibilité générale. |
2.0-ubuntu18 | 18/10/2024 | 2021/01/22 | 31/07/2024 | 31/07/2026 | Disponibilité générale. |
Images Rocky Linux
Les versions d'image suivantes basées sur Rocky Linux sont compatibles avec les clusters Dataproc. Sachez que des clusters seront créés afin d'inclure tous les correctifs apportés à une version depuis son lancement.
Version | Dernière mise à jour | Date de sortie | Compatible jusqu'à | Disponible jusqu'au | Remarques |
---|---|---|---|---|---|
2,2-rocky9 | 18/10/2024 | 08/12/2023 | 31/12/2025 | 31/12/2027 | Disponibilité générale. |
2,1-rocky8 | 2024/10/18 | 12/12/2022 | 31/12/2024 | 31/12/2026 | Disponibilité générale. |
2.0-rocky8 | 2024/10/18 | 18/02/2022 | 31/07/2024 | 31/07/2026 | Disponibilité générale. |
Versions d'image Dataproc non compatibles
Les versions Dataproc suivantes ne sont pas compatibles. Dataproc ne fournit pas de mises à jour ni de compatibilité pour les clusters créés avec ces versions. Même si vous pouvez continuer à exécuter un cluster créé avec une version non compatible, il est recommandé de remplacer ce cluster par un nouveau, créé avec une version compatible.
Version | Inclut | Date de sortie | Dernière mise à jour | Remarques |
---|---|---|---|---|
1.5-debian10/-ubuntu18/-rocky8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Connecteur Cloud Storage 2.1.9-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020/03/25 :debian10/ubuntu18 2022/02/18 :rocky8 |
28/04/2023 | Non compatible depuis le 28/04/2023. 1.5.89-debian10/-ubuntu18/-rocky8 est la version finale. |
2.0-centos8 |
Apache Spark 3.1.2 Apache Hadoop 3.2.2 Apache Pig 0.18.0-SNAPSHOT Apache Hive 3.1.2 Connecteur Cloud Storage 2.2.4-hadoop3 Python 3.8 Scala 2.12.14 Zookeeper 3.4.14 |
16/03/2021 | 01/02/2022 | Non compatible depuis le 01/02/2022. 2.0.30-centos8 est la version finale. |
1.5-centos8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.1 Apache Pig 0.17.0 Apache Hive 2.3.7 Connecteur Cloud Storage 2.1.5-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020/12/14 | 01/02/2022 | Non compatible depuis le 01/02/2022. 1.5.56-centos8 est la version finale. |
1.4-debian10/-ubuntu18 |
Apache Spark 2.4.8 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Connecteur Cloud Storage 1.9.18-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.14 |
2019/03/22 | 01/02/2022 | Non compatible depuis le 01/02/2022. 1.4.80-debian10/-Ubuntu18 était la version finale. |
1.3-debian10/-ubuntu18 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Connecteur Cloud Storage 1.9.18-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
29/06/2018 | 22/12/2021 | Non compatible depuis le 01/08/2021. 1.3.95-debian10/-Ubuntu18 était la dernière version publiée, pour laquelle les failles log4j2 ont été corrigées. Remarque : Les versions précédentes sont vulnérables et doivent être mises à niveau. |
1.4-debian9 |
Apache Spark 2.4.5 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Connecteur Apache Storage 1.9.17-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.13 |
2019/03/22 | 2020/07/10 | Non compatible depuis le 10/07/2020. 1.4.33-debian9 est la version finale. |
1.3-debian9 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Connecteur Cloud Storage 1.9.17-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2018/06/29 | 2020/07/10 | Non compatible depuis le 10/07/2020. 1.3.62-debian9 est la version finale. |
1.2-debian9 |
Apache Spark 2.2.3 Apache Hadoop 2.8.5 Apache Pig 0.16.0 Apache Hive 2.1.1 Connecteur Cloud Storage 1.6.10-hadoop2 Connecteur BigQuery 0.10.11-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2017/07/21 | 2020/07/10 | Non compatible depuis le 10/07/2020. 1.2.102-debian9 est la dernière version. |
1.1-debian9 |
Apache Spark 2.0.2 Apache Hadoop 2.7.7 Apache Pig 0.16.0 Apache Hive 2.1.1 Connecteur Cloud Storage 1.6.10-hadoop2 Connecteur BigQuery 0.10.11-hadoop2 |
08/08/2016 | 2019/09/26 | Non compatible depuis le 01/10/2019. 1.1.121-debian9 est la version finale. |
1.0-debian9 |
Apache Spark 1.6.2 Apache Hadoop 2.7.4 Apache Pig 0.15.0 Apache Hive 1.2.1 Connecteur Cloud Storage 1.6.10-hadoop2 Connecteur BigQuery 0.10.11-hadoop2 |
22/02/2016 | 2019/05/09 | Première version de l'image GA. Non compatible depuis le 01/04/2019. 1.0.119-debian9 était la version finale. |
0.2 |
Apache Spark 1.5.2 Apache Hadoop 2.7.1 Apache Pig 0.15.0 Apache Hive 1.2.1 Connecteur Cloud Storage 1.5.1-hadoop2 Connecteur BigQuery 0.7.7-hadoop2 |
18/11/2015 | 02/08/2016 | Deuxième version de l'image bêta. |
0.1 |
Apache Spark 1.5.0 Apache Hadoop 2.7.1 Apache Pig 0.14.10 Apache Hive 1.0 Connecteur Cloud Storage 1.5.1-hadoop2 Connecteur BigQuery 0.7.7-hadoop2 |
23/09/2015 | 02/08/2016 | Version bêta de Dataproc. La version Spark 1.5 a été compilée avec Hive 1.2. |