Google Dataproc utilizza le versioni delle immagini Ubuntu, Debian e Rocky Linux per raggruppare il sistema operativo, i componenti big data e i connettori della piattaforma Google Cloud in un unico pacchetto di cui viene eseguito il deployment in un cluster. Per ulteriori informazioni, consulta Controllo delle versioni di Dataproc.
Versione immagine Dataproc predefinita
Dataproc aggiorna la versione immagine predefinita all'ultima Dataproc basato su Debian in disponibilità generale dopo la data di rilascio in disponibilità generale.
Versioni immagine Dataproc supportate
Immagini Debian
Nei cluster Dataproc sono supportate le seguenti versioni delle immagini basate su Debian. Tieni presente che verranno creati nuovi cluster per includere eventuali patch secondarie che sono state apportate a una versione dalla sua uscita.
Versione | Ultimo aggiornamento | Data di rilascio | Supportata fino a | Disponibile fino al giorno | Note |
---|---|---|---|---|---|
2,2-debian12 | 30/09/2024 | 08/12/2023 | 31/12/2025 | 31/12/2027 | Release di disponibilità generale. La versione immagine 2.2 diventerà la versione immagine predefinita il 13 settembre 2024. |
2,1-debian11 | 30/09/2024 | 12/12/2022 | 31/12/2024 | 31/12/2026 | Release di disponibilità generale. |
2.0-debian10 | 30/09/2024 | 22/01/2021 | 31/07/2024 | 31/07/2026 | Release di disponibilità generale. |
Immagini Ubuntu
Nei cluster Dataproc sono supportate le seguenti versioni delle immagini basate su Ubuntu LTS. Tieni presente che verranno creati nuovi cluster includere eventuali patch secondarie secondarie apportate a una versione sin dal rilascio.
Versione | Ultimo aggiornamento | Data di rilascio | Supportata fino a | Disponibile fino al giorno | Note |
---|---|---|---|---|---|
2.2-ubuntu22 | 30/09/2024 | 08/12/2023 | 31/12/2025 | 31/12/2027 | Release per disponibilità generale. |
2.1-ubuntu20 | 30/09/2024 | 12/12/2022 | 31/12/2024 | 31/12/2026 | Release di disponibilità generale. |
2,0-ubuntu18 | 30/09/2024 | 22/01/2021 | 31/07/2024 | 31/07/2026 | Release di disponibilità generale. |
Immagini Rocky Linux
Le seguenti versioni delle immagini basate su Rocky Linux sono supportate in di cluster Dataproc. Tieni presente che verranno creati nuovi cluster includere eventuali patch secondarie secondarie apportate a una versione sin dal rilascio.
Versione | Ultimo aggiornamento | Data di rilascio | Supportata fino a | Disponibile fino al giorno | Note |
---|---|---|---|---|---|
2.2-rocky9 | 30/09/2024 | 2023/12/08 | 31/12/2025 | 31/12/2027 | Release per disponibilità generale. |
2.1-rocky8 | 30/09/2024 | 12/12/2022 | 31/12/2024 | 31/12/2026 | Release di disponibilità generale. |
2.0-rocky8 | 30/09/2024 | 18/02/2022 | 31/07/2024 | 31/07/2026 | Release per disponibilità generale. |
Versioni immagine di Dataproc non supportate
Le seguenti versioni di Dataproc non sono supportate. Dataproc non fornisce aggiornamenti e assistenza per i cluster creati con queste versioni. Sebbene tu possa continuare a eseguire un cluster creato con una versione non supportata, ti consigliamo di sostituirlo con un nuovo cluster creato con una versione supportata.
Versione | Include | Data di uscita | Ultimo aggiornamento | Note |
---|---|---|---|---|
1.5-debian10/-ubuntu18/-rocky8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage connector 2.1.9-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020/03/25:debian10/ubuntu18 2022/02/18:rocky8 |
28/04/2023 | Non supportata a partire dal 28/04/2023. La versione finale è stata rilasciata 1.5.89-debian10/-ubuntu18/-rocky8. |
2.0-centos8 |
Apache Spark 3.1.2 Apache Hadoop 3.2.2 Apache Pig 0.18.0-SNAPSHOT Apache Hive 3.1.2 Connettore Cloud Storage 2.2.4-hadoop3 Python 3.8 Scala 2.12.14 Zookeeper 3.4.14 |
16/03/2021 | 01/02/2022 | Non supportato dal 01/02/2022. 2.0.30-centos8 è stata la versione finale rilasciata. |
1.5-centos8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.1 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage connector 2.1.5-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
14/12/2020 | 01/02/2022 | Non supportato dal 01/02/2022. 1.5.56-centos8 è stata la versione finale rilasciata. |
1.4-debian10/-ubuntu18 |
Apache Spark 2.4.8 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Connettore Cloud Storage 1.9.18-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.14 |
22/03/2019 | 01/02/2022 | Non supportata a partire dal 01/02/2022. La versione finale è stata rilasciata 1.4.80-debian10/-ubuntu18. |
1.3-debian10/-ubuntu18 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage connector 1.9.18-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
29/06/2018 | 22/12/2021 | Non supportato dal 01/08/2021. 1.3.95-debian10/-ubuntu18 era la versione rilasciata finale, che ha risolto le vulnerabilità di log4j2. Nota: le versioni rilasciate in precedenza sono vulnerabili e richiedono l'upgrade. |
1.4-debian9 |
Apache Spark 2.4.5 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage connector 1.9.17-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.13 |
22/03/2019 | 10/07/2020 | Non supportata a partire dal 10/07/2020. La versione finale è stata rilasciata 1.4.33-debian9. |
1.3-debian9 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage connector 1.9.17-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
29/06/2018 | 10/07/2020 | Non supportata a partire dal 10/07/2020. La versione finale è stata rilasciata 1.3.62-debian9. |
1.2-debian9 |
Apache Spark 2.2.3 Apache Hadoop 2.8.5 Apache Pig 0.16.0 Apache Hive 2.1.1 Connettore Cloud Storage 1.6.10-hadoop2 Connettore BigQuery 0.10.11-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
21/07/2017 | 10/07/2020 | Non supportata a partire dal 10/07/2020. La versione finale è stata rilasciata 1.2.102-debian9. |
1.1-debian9 |
Apache Spark 2.0.2 Apache Hadoop 2.7.7 Apache Pig 0.16.0 Apache Hive 2.1.1 Connettore Cloud Storage 1.6.10-hadoop2 Connettore BigQuery 0.10.11-hadoop2 |
08/08/2016 | 26/09/2019 | Non supportato dal 1° ottobre 2019. 1.1.121-debian9 è la versione finale rilasciata. |
1.0-debian9 |
Apache Spark 1.6.2 Apache Hadoop 2.7.4 Apache Pig 0.15.0 Apache Hive 1.2.1 Connettore Cloud Storage 1.6.10-hadoop2 Connettore BigQuery 0.10.11-hadoop2 |
22/02/2016 | 09/05/2019 | Prima release dell'immagine GA. Non supportata a partire dal 01/04/2019. La versione finale è stata rilasciata 1.0.119-debian9. |
0.2 |
Apache Spark 1.5.2 Apache Hadoop 2.7.1 Apache Pig 0.15.0 Apache Hive 1.2.1 Connettore Cloud Storage 1.5.1-hadoop2 Connettore BigQuery 0.7.7-hadoop2 |
18/11/2015 | 2016/08/02 | Seconda release dell'immagine beta. |
0.1 |
Apache Spark 1.5.0 Apache Hadoop 2.7.1 Apache Pig 0.14.10 Apache Hive 1.0 Connettore Cloud Storage 1.5.1-hadoop2 Connettore BigQuery 0.7.7-hadoop2 |
23/09/2015 | 02/08/2016 | Versione beta di Dataproc. Spark 1.5 è stato compilato in base a Hive 1.2. |