Liste des versions d'image Dataproc

Google Dataproc utilise des versions d'image pour rassembler système d'exploitation, composants big data et connecteurs Google Cloud Platform en un seul package déployé sur un cluster. Pour plus d'informations, consultez la page Gestion des versions Dataproc.

Versions Dataproc compatibles

Images Debian

Les versions d'image suivantes basées sur Debian 9/10 sont compatibles avec les clusters Dataproc. Sachez que des clusters seront créés afin d'inclure tous les correctifs apportés à une version depuis son lancement.

Version Dernière mise à jour Date de sortie Notes
Aperçu 2.0-debian10 2020/07/17 2020/06/11 Dernière version : 2.0.0-RC5-debian10
1.5-debian10 2020/07/17 2020/03/25 Disponibilité générale.
1.4-debian9/10 2020/07/17 2019/03/22 Depuis le 30 juin 2020, Dataproc 1.4-debian10 est l'image 1.4 par défaut. Les versions d'image 1.4-debian9 après le 30 juin 2020 ne sont pas garanties.
1.3-debian9/10 2020/07/17 2018/06/29 Dataproc 1.3-debian9 était la version par défaut pour les nouveaux clusters du 22 janvier 2019 au 30 juin 2020. Depuis le 30 juin 2020, Dataproc 1.3-debian10 est l'image 1.3 par défaut. Les versions d'image 1.3-debian9 après le 30 juin 2020 ne sont pas garanties.

Images Ubuntu

Les versions d'image suivantes basées sur Ubuntu 18.04 LTS sont compatibles avec les clusters Dataproc. Sachez que des clusters seront créés afin d'inclure tous les correctifs apportés à une version depuis son lancement.

Version Dernière mise à jour Date de sortie Notes
Aperçu 2.0-ubuntu18 2020/07/17 2020/06/11 Dernière version : 2.0.0-RC5-ubuntu18
1.5-ubuntu18 2020/07/17 2020/03/25
1.4-ubuntu18 2020/07/17 2019/03/22
1.3-ubuntu18 2020/07/17 2019/03/22

Versions Dataproc non compatibles

Les versions Dataproc suivantes ne sont pas compatibles. Dataproc ne fournit pas de mises à jour ni de compatibilité pour les clusters créés avec ces versions. Même si vous pouvez continuer à exécuter un cluster créé avec une version non compatible, il est recommandé de remplacer ce cluster par un nouveau, créé avec une version compatible.

Version Inclut Date de sortie Dernière mise à jour Notes
1.2-debian9 Apache Spark 2.2.3
Apache Hadoop 2.8.5
Apache Pig 0.16.0
Apache Hive 2.1.1
Connecteur Cloud Storage 1.6.10-hadoop2
Connecteur BigQuery 0.10.11-hadoop2
2017/07/21 2020/07/10 Non compatible depuis le 10/07/2020.
1.2.102-debian9 est la version finale.
1.1-debian9 Apache Spark 2.0.2
Apache Hadoop 2.7.7
Apache Pig 0.16.0
Apache Hive 2.1.1
Cloud Storage connector 1.6.10-hadoop2
BigQuery connector 0.10.11-hadoop2
08/08/2016 2019/09/26 Non compatible depuis le 01/10/2019.
1.1.121-debian9 est la version finale.
1.0-debian9 Apache Spark 1.6.2
Apache Hadoop 2.7.4
Apache Pig 0.15.0
Apache Hive 1.2.1
Cloud Storage connector 1.6.10-hadoop2
BigQuery connector 0.10.11-hadoop2
22/02/2016 2019/05/09 Première version de l'image GA.
Non compatible depuis le 01/04/2019.
1.0.119-debian9 est la dernière version.
0.2 Apache Spark 1.5.2
Apache Hadoop 2.7.1
Apache Pig 0.15.0
Apache Hive 1.2.1
Cloud Storage connector 1.5.1-hadoop2
BigQuery connector 0.7.7-hadoop2
18/11/2015 02/08/2016 Deuxième version de l'image bêta.
0.1 Apache Spark 1.5.0
Apache Hadoop 2.7.1
Apache Pig 0.14.10
Apache Hive 1.0
Cloud Storage connector 1.5.1-hadoop2
BigQuery connector 0.7.7-hadoop2
23/09/2015 02/08/2016 Version bêta de Dataproc.
La version Spark 1.5 a été compilée avec Hive 1.2.