Google Dataproc utilizza le versioni immagine Ubuntu, Debian e Rocky Linux per raggruppare il sistema operativo, componenti big data e connettori Google Cloud Platform in un unico pacchetto il deployment in un cluster. Per maggiori informazioni consulta Controllo delle versioni di Dataproc.
Versione immagine Dataproc predefinita
Dataproc aggiorna la versione immagine predefinita all'ultima Dataproc basato su Debian in disponibilità generale dopo la data di rilascio in disponibilità generale.
Versioni immagine Dataproc supportate
Immagini Debian
In Dataproc sono supportate le seguenti versioni delle immagini basate su Debian cluster. Tieni presente che verranno creati nuovi cluster per includere eventuali patch secondarie apportate a una versione sin dalla sua release.
Versione | Ultimo aggiornamento | Data di rilascio | Supportata fino a | Disponibile fino al giorno | Note |
---|---|---|---|---|---|
2,2-debian12 | 03/09/2024 | 08/12/2023 | 31/12/2025 | 31/12/2027 | Release per disponibilità generale. La versione immagine 2.2 diventerà la versione immagine predefinita il 13 settembre 2024. |
2,1-debian11 | 03/09/2024 | 12/12/2022 | 31/12/2024 | 31/12/2026 | Release per disponibilità generale. |
2.0-debian10 | 03/09/2024 | 22/01/2021 | 31/07/2024 | 31/07/2026 | Release per disponibilità generale. |
Immagini Ubuntu
Le seguenti versioni delle immagini basate su Ubuntu LTS sono supportate in di cluster Dataproc. Tieni presente che verranno creati nuovi cluster includere eventuali patch secondarie secondarie apportate a una versione sin dal rilascio.
Versione | Ultimo aggiornamento | Data di rilascio | Supportata fino a | Disponibile fino al giorno | Note |
---|---|---|---|---|---|
2,2-ubuntu22 | 03/09/2024 | 08/12/2023 | 31/12/2025 | 31/12/2027 | Release per disponibilità generale. |
2,1-ubuntu20 | 03/09/2024 | 12/12/2022 | 31/12/2024 | 31/12/2026 | Release per disponibilità generale. |
2,0-ubuntu18 | 03/09/2024 | 22/01/2021 | 31/07/2024 | 31/07/2026 | Release per disponibilità generale. |
Immagini Rocky Linux
Le seguenti versioni delle immagini basate su Rocky Linux sono supportate in di cluster Dataproc. Tieni presente che verranno creati nuovi cluster includere eventuali patch secondarie secondarie apportate a una versione sin dal rilascio.
Versione | Ultimo aggiornamento | Data di rilascio | Supportata fino a | Disponibile fino al giorno | Note |
---|---|---|---|---|---|
2,2-rosso9 | 03/09/2024 | 08/12/2023 | 31/12/2025 | 31/12/2027 | Release per disponibilità generale. |
2,1-rocky8 | 03/09/2024 | 12/12/2022 | 31/12/2024 | 31/12/2026 | Release per disponibilità generale. |
2,0-rocky8 | 03/09/2024 | 18/02/2022 | 31/07/2024 | 31/07/2026 | Release per disponibilità generale. |
Versioni immagine Dataproc non supportate
Le seguenti versioni di Dataproc non sono supportate. Dataproc non fornisce aggiornamenti né assistenza per i cluster creati con queste versioni. Sebbene sia possibile continuare a eseguire un cluster è stato creato con una versione non supportata, sostituendo il cluster con una nuova in un cluster creato con una versione supportata.
Versione | Include | Data di rilascio | Ultimo aggiornamento | Note |
---|---|---|---|---|
1.5-debian10/-ubuntu18/-rocky8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Connettore Cloud Storage 2.1.9-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020/03/25:debian10/ubuntu18 2022/02/18:rocky8 |
28/04/2023 | Non supportata a partire dal 28/04/2023. La versione finale è stata rilasciata 1.5.89-debian10/-ubuntu18/-rocky8. |
2.0-centos8 |
Apache Spark 3.1.2 Apache Hadoop 3.2.2 Apache Pig 0.18.0-SNAPSHOT Apache Hive 3.1.2 Connettore Cloud Storage 2.2.4-hadoop3 Python 3.8 Scala 2.12.14 Zookeeper 3.4.14 |
16/03/2021 | 01/02/2022 | Non supportata a partire dal 01/02/2022. La versione finale è stata rilasciata 2.0.30-centos8. |
1.5-centos8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.1 Apache Pig 0.17.0 Apache Hive 2.3.7 Connettore Cloud Storage 2.1.5-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
14/12/2020 | 01/02/2022 | Non supportata a partire dal 01/02/2022. La versione finale è stata rilasciata 1.5.56-centos8. |
1.4-debian10/-ubuntu18 |
Apache Spark 2.4.8 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Connettore Cloud Storage 1.9.18-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.14 |
22/03/2019 | 01/02/2022 | Non supportata a partire dal 01/02/2022. La versione finale è stata rilasciata 1.4.80-debian10/-ubuntu18. |
1.3-debian10/-ubuntu18 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Connettore Cloud Storage 1.9.18-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
29/06/2018 | 22/12/2021 | Non supportata a partire dal 01/08/2021. L'ultima versione rilasciata è stata 1.3.95-debian10/-ubuntu18, che ha risolto le vulnerabilità di log4j2. Nota: le versioni rilasciate in precedenza sono vulnerabili e devono essere sottoposte ad upgrade. |
1.4-debian9 |
Apache Spark 2.4.5 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Connettore Cloud Storage 1.9.17-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.13 |
22/03/2019 | 10/07/2020 | Non supportata a partire dal 10/07/2020. La versione finale è stata rilasciata 1.4.33-debian9. |
1.3-debian9 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Connettore Cloud Storage 1.9.17-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
29/06/2018 | 10/07/2020 | Non supportata a partire dal 10/07/2020. La versione finale è stata rilasciata 1.3.62-debian9. |
1.2-debian9 |
Apache Spark 2.2.3 Apache Hadoop 2.8.5 Apache Pig 0.16.0 Apache Hive 2.1.1 Connettore Cloud Storage 1.6.10-hadoop2 Connettore BigQuery 0.10.11-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
21/07/2017 | 10/07/2020 | Non supportata a partire dal 10/07/2020. La versione finale è stata rilasciata 1.2.102-debian9. |
1.1-debian9 |
Apache Spark 2.0.2 Apache Hadoop 2.7.7 Apache Pig 0.16.0 Apache Hive 2.1.1 Connettore Cloud Storage 1.6.10-hadoop2 Connettore BigQuery 0.10.11-hadoop2 |
08/08/2016 | 26/09/2019 | Non supportata a partire dal 01/10/2019. 1.1.121-debian9 è la versione finale rilasciata. |
1.0-debian9 |
Apache Spark 1.6.2 Apache Hadoop 2.7.4 Apache Pig 0.15.0 Apache Hive 1.2.1 Connettore Cloud Storage 1.6.10-hadoop2 Connettore BigQuery 0.10.11-hadoop2 |
22/02/2016 | 09/05/2019 | Prima release dell'immagine GA. Non supportata a partire dal 01/04/2019. La versione finale è stata rilasciata 1.0.119-debian9. |
0.2 |
Apache Spark 1.5.2 Apache Hadoop 2.7.1 Apache Pig 0.15.0 Apache Hive 1.2.1 Connettore Cloud Storage 1.5.1-hadoop2 Connettore BigQuery 0.7.7-hadoop2 |
18/11/2015 | 02/08/2016 | Seconda release dell'immagine beta. |
0.1 |
Apache Spark 1.5.0 Apache Hadoop 2.7.1 Apache Pig 0.14.10 Apache Hive 1.0 Connettore Cloud Storage 1.5.1-hadoop2 Connettore BigQuery 0.7.7-hadoop2 |
23/09/2015 | 02/08/2016 | Versione beta di Dataproc. Spark 1.5 è stato compilato in base a Hive 1.2. |