Elenchi di versioni delle immagini dei cluster Dataproc

"Cluster di versioni delle immagini basati su Ubuntu e Debian | Google Cloud"

Google Dataproc utilizza le versioni immagine Ubuntu, Debian e Rocky Linux per raggruppare il sistema operativo, i componenti big data e i connettori della Google Cloud Platform in un unico pacchetto di cui viene eseguito il deployment in un cluster. Per ulteriori informazioni, consulta Controllo delle versioni di Dataproc.

Versione immagine Dataproc predefinita

Dataproc aggiorna la versione immagine predefinita all'ultima versione dell'immagine Dataproc basata su Debian disponibile pubblicamente un mese dopo la data di rilascio della disponibilità generale (GA).

Versioni di Dataproc supportate

Immagini Debian

Nei cluster Dataproc sono supportate le seguenti versioni delle immagini basate su Debian. Tieni presente che verranno creati nuovi cluster per includere eventuali patch secondarie secondarie apportate a una versione sin dal rilascio.

Versione Ultimo aggiornamento Data di rilascio Supportata fino a Disponibile fino al giorno Note
2,2-debian12 06/06/2024 08/12/2023 31/12/2025 31/12/2027 Release per disponibilità generale.
2,1-debian11 06/06/2024 12/12/2022 31/12/2024 31/12/2026 Release per disponibilità generale.
2.0-debian10 06/06/2024 22/01/2021 31/07/2024 31/07/2026 Release per disponibilità generale.

Immagini Ubuntu

Le seguenti versioni delle immagini basate su Ubuntu LTS sono supportate nei cluster Dataproc. Tieni presente che verranno creati nuovi cluster per includere eventuali patch secondarie inferiori apportate a una versione sin dal rilascio.

Versione Ultimo aggiornamento Data di rilascio Supportata fino a Disponibile fino al giorno Note
2,2-ubuntu22 06/06/2024 08/12/2023 31/12/2025 31/12/2027 Release per disponibilità generale.
2,1-ubuntu20 06/06/2024 12/12/2022 31/12/2024 31/12/2026 Release per disponibilità generale.
2,0-ubuntu18 06/06/2024 22/01/2021 31/07/2024 31/07/2026 Release per disponibilità generale.

Immagini Rocky Linux

Le seguenti versioni delle immagini basate su Rocky Linux sono supportate nei cluster Dataproc. Tieni presente che verranno creati nuovi cluster per includere eventuali patch secondarie inferiori apportate a una versione sin dal rilascio.

Versione Ultimo aggiornamento Data di rilascio Supportata fino a Disponibile fino al giorno Note
2,2-rosso9 06/06/2024 08/12/2023 31/12/2025 31/12/2027 Release per disponibilità generale.
2,1-rocky8 06/06/2024 12/12/2022 31/12/2024 31/12/2026 Release per disponibilità generale.
2,0-rocky8 06/06/2024 18/02/2022 31/07/2024 31/07/2026 Release per disponibilità generale.

Versioni di Dataproc non supportate

Le seguenti versioni di Dataproc non sono supportate. Dataproc non fornisce aggiornamenti né assistenza per i cluster creati con queste versioni. Sebbene sia possibile continuare a eseguire un cluster creato con una versione non supportata, è consigliabile sostituirlo con un nuovo cluster creato con una versione supportata.

Versione Include Data di rilascio Ultimo aggiornamento Note
1.5-debian10/-ubuntu18/-rocky8 Apache Spark 2.4.8
Apache Hadoop 2.10.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Connettore Cloud Storage 2.1.9-hadoop2
Python 3.7
Scala 2.12.10
Zookeeper 3.4.14
2020/03/25:debian10/ubuntu18
2022/02/18:rocky8
28/04/2023 Non supportata a partire dal 28/04/2023.
La versione finale è stata rilasciata 1.5.89-debian10/-ubuntu18/-rocky8.
2.0-centos8 Apache Spark 3.1.2
Apache Hadoop 3.2.2
Apache Pig 0.18.0-SNAPSHOT
Apache Hive 3.1.2
Connettore Cloud Storage 2.2.4-hadoop3
Python 3.8
Scala 2.12.14
Zookeeper 3.4.14
16/03/2021 01/02/2022 Non supportata a partire dal 01/02/2022.
La versione finale è stata rilasciata 2.0.30-centos8.
1.5-centos8 Apache Spark 2.4.8
Apache Hadoop 2.10.1
Apache Pig 0.17.0
Apache Hive 2.3.7
Connettore Cloud Storage 2.1.5-hadoop2
Python 3.7
Scala 2.12.10
Zookeeper 3.4.14
14/12/2020 01/02/2022 Non supportata a partire dal 01/02/2022.
La versione finale è stata rilasciata 1.5.56-centos8.
1.4-debian10/-ubuntu18 Apache Spark 2.4.8
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Connettore Cloud Storage 1.9.18-hadoop2
Python 3.6
Scala 2.11.12
Zookeeper 3.4.14
22/03/2019 01/02/2022 Non supportata a partire dal 01/02/2022.
La versione finale è stata rilasciata 1.4.80-debian10/-ubuntu18.
1.3-debian10/-ubuntu18 Apache Spark 2.3.4
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Connettore Cloud Storage 1.9.18-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
29/06/2018 22/12/2021 Non supportata a partire dal 01/08/2021.
L'ultima versione rilasciata è stata 1.3.95-debian10/-ubuntu18, che ha risolto le vulnerabilità di log4j2. Nota: le versioni rilasciate in precedenza sono vulnerabili e devono essere sottoposte ad upgrade.
1.4-debian9 Apache Spark 2.4.5
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Connettore Cloud Storage 1.9.17-hadoop2
Python 3.6
Scala 2.11.12
Zookeeper 3.4.13
22/03/2019 10/07/2020 Non supportata a partire dal 10/07/2020.
La versione finale è stata rilasciata 1.4.33-debian9.
1.3-debian9 Apache Spark 2.3.4
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Connettore Cloud Storage 1.9.17-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
29/06/2018 10/07/2020 Non supportata a partire dal 10/07/2020.
La versione finale è stata rilasciata 1.3.62-debian9.
1.2-debian9 Apache Spark 2.2.3
Apache Hadoop 2.8.5
Apache Pig 0.16.0
Apache Hive 2.1.1
Connettore Cloud Storage 1.6.10-hadoop2
Connettore BigQuery 0.10.11-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper
3.4.13
21/07/2017 10/07/2020 Non supportata a partire dal 10/07/2020.
La versione finale è stata rilasciata 1.2.102-debian9.
1.1-debian9 Apache Spark 2.0.2
Apache Hadoop 2.7.7
Apache Pig 0.16.0
Apache Hive 2.1.1
Connettore Cloud Storage 1.6.10-hadoop2
Connettore BigQuery 0.10.11-hadoop2
08/08/2016 26/09/2019 Non supportata a partire dal 01/10/2019.
1.1.121-debian9 è la versione finale rilasciata.
1.0-debian9 Apache Spark 1.6.2
Apache Hadoop 2.7.4
Apache Pig 0.15.0
Apache Hive 1.2.1
Connettore Cloud Storage 1.6.10-hadoop2
Connettore BigQuery 0.10.11-hadoop2
22/02/2016 09/05/2019 Prima release dell'immagine GA.
Non supportata a partire dal 01/04/2019.
La versione finale è stata rilasciata 1.0.119-debian9.
0.2 Apache Spark 1.5.2
Apache Hadoop 2.7.1
Apache Pig 0.15.0
Apache Hive 1.2.1
Connettore Cloud Storage 1.5.1-hadoop2
Connettore BigQuery 0.7.7-hadoop2
18/11/2015 02/08/2016 Seconda release dell'immagine beta.
0.1 Apache Spark 1.5.0
Apache Hadoop 2.7.1
Apache Pig 0.14.10
Apache Hive 1.0
Connettore Cloud Storage 1.5.1-hadoop2
Connettore BigQuery 0.7.7-hadoop2
23/09/2015 02/08/2016 Versione beta di Dataproc.
Spark 1.5 è stato compilato in base a Hive 1.2.