Google Dataproc utilizza le versioni delle immagini Ubuntu, Debian e Rocky Linux per raggruppare il sistema operativo, i componenti big data e i connettori Google Cloud in un unico pacchetto di cui viene eseguito il deployment in un cluster. Per ulteriori informazioni, consulta Controllo delle versioni di Dataproc.
Note:
- Le versioni delle immagini Dataproc sono supportate per 24 mesi dopo la loro rilaciazione iniziale.
- In genere, le versioni delle immagini Dataproc sono disponibili per 24 mesi dopo la data di ritiro del supporto, ma un periodo di disponibilità può essere ridotto se la data di supporto di un'immagine viene estesa.
Versione immagine Dataproc predefinita
Dataproc aggiorna la versione dell'immagine predefinita all'ultima versione di Dataproc basata su Debian in disponibilità generale dopo la data di rilascio della versione GA.
Versioni immagine Dataproc supportate
Immagini Debian
Nei cluster Dataproc sono supportate le seguenti versioni delle immagini basate su Debian. Tieni presente che verranno creati nuovi cluster per includere eventuali patch secondarie che sono state apportate a una versione dalla sua uscita.
Versione | Ultimo aggiornamento | Data di uscita | Supportato fino al giorno | Disponibile fino al giorno | Note |
---|---|---|---|---|---|
2.2-debian12 | 31/10/2024 | 2023/12/08 | 31/12/2025 | 31/12/2027 | Release di disponibilità generale. La versione dell'immagine 2.2 diventa la versione predefinita il 13 settembre 2024. |
2.1-debian11 | 31/10/2024 | 12/12/2022 | 30/06/2025 | 31/12/2026 | Release di disponibilità generale. |
2.0-debian10 | 31/10/2024 | 22/01/2021 | 30/06/2025 | 31/07/2026 | Release di disponibilità generale. |
Immagini Ubuntu
Nei cluster Dataproc sono supportate le seguenti versioni delle immagini basate su Ubuntu LTS. Tieni presente che verranno creati nuovi cluster per includere eventuali patch secondarie apportate a una versione dalla sua uscita.
Versione | Ultimo aggiornamento | Data di uscita | Supportato fino al giorno | Disponibile fino al giorno | Note |
---|---|---|---|---|---|
2.2-ubuntu22 | 31/10/2024 | 2023/12/08 | 31/12/2025 | 31/12/2027 | Release di disponibilità generale. |
2.1-ubuntu20 | 31/10/2024 | 12/12/2022 | 30/06/2025 | 31/12/2026 | Release di disponibilità generale. |
2.0-ubuntu18 | 31/10/2024 | 22/01/2021 | 30/06/2025 | 31/07/2026 | Release di disponibilità generale. |
Immagini Rocky Linux
Nei cluster Dataproc sono supportate le seguenti versioni delle immagini basate su Rocky Linux. Tieni presente che verranno creati nuovi cluster per includere eventuali patch secondarie apportate a una versione dalla sua uscita.
Versione | Ultimo aggiornamento | Data di uscita | Supportato fino al giorno | Disponibile fino al giorno | Note |
---|---|---|---|---|---|
2.2-rocky9 | 31/10/2024 | 2023/12/08 | 31/12/2025 | 31/12/2027 | Release di disponibilità generale. |
2.1-rocky8 | 31/10/2024 | 12/12/2022 | 30/06/2025 | 31/12/2026 | Release di disponibilità generale. |
2.0-rocky8 | 31/10/2024 | 18/02/2022 | 30/06/2025 | 31/07/2026 | Release di disponibilità generale. |
Versioni immagine di Dataproc non supportate
Le seguenti versioni di Dataproc non sono supportate. Dataproc non fornisce aggiornamenti e assistenza per i cluster creati con queste versioni. Sebbene tu possa continuare a eseguire un cluster creato con una versione non supportata, ti consigliamo di sostituirlo con un nuovo cluster creato con una versione supportata.
Versione | Include | Data di uscita | Ultimo aggiornamento | Note |
---|---|---|---|---|
1.5-debian10/-ubuntu18/-rocky8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage connector 2.1.9-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020/03/25:debian10/ubuntu18 2022/02/18:rocky8 |
28/04/2023 | Non supportato a partire dal 28/04/2023. 1.5.89-debian10/-ubuntu18/-rocky8 era la versione rilasciata finale. |
2.0-centos8 |
Apache Spark 3.1.2 Apache Hadoop 3.2.2 Apache Pig 0.18.0-SNAPSHOT Apache Hive 3.1.2 Cloud Storage connector 2.2.4-hadoop3 Python 3.8 Scala 2.12.14 Zookeeper 3.4.14 |
16/03/2021 | 01/02/2022 | Non supportato dal 01/02/2022. 2.0.30-centos8 è stata la versione finale rilasciata. |
1.5-centos8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.1 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage connector 2.1.5-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
14/12/2020 | 01/02/2022 | Non supportato dal 01/02/2022. 1.5.56-centos8 è stata la versione finale rilasciata. |
1.4-debian10/-ubuntu18 |
Apache Spark 2.4.8 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Connettore Cloud Storage 1.9.18-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.14 |
22/03/2019 | 01/02/2022 | Non supportata dal 01/02/2022. 1.4.80-debian10/-ubuntu18 è stata la versione finale rilasciata. |
1.3-debian10/-ubuntu18 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage connector 1.9.18-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
29/06/2018 | 22/12/2021 | Non supportato dal 01/08/2021. 1.3.95-debian10/-ubuntu18 era la versione rilasciata finale, che ha risolto le vulnerabilità di log4j2. Nota: le versioni rilasciate in precedenza sono vulnerabili e devono essere sottoposte ad upgrade. |
1.4-debian9 |
Apache Spark 2.4.5 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage connector 1.9.17-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.13 |
22/03/2019 | 10/07/2020 | Non supportato dal 10/07/2020. 1.4.33-debian9 è stata la versione finale rilasciata. |
1.3-debian9 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage connector 1.9.17-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
29/06/2018 | 10/07/2020 | Non supportata dal 10/07/2020. 1.3.62-debian9 è stata la versione finale rilasciata. |
1.2-debian9 |
Apache Spark 2.2.3 Apache Hadoop 2.8.5 Apache Pig 0.16.0 Apache Hive 2.1.1 Connettore Cloud Storage 1.6.10-hadoop2 Connettore BigQuery 0.10.11-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
21/07/2017 | 10/07/2020 | Non supportata dal 10/07/2020. 1.2.102-debian9 è stata la versione finale rilasciata. |
1.1-debian9 |
Apache Spark 2.0.2 Apache Hadoop 2.7.7 Apache Pig 0.16.0 Apache Hive 2.1.1 Connettore Cloud Storage 1.6.10-hadoop2 Connettore BigQuery 0.10.11-hadoop2 |
2016/08/08 | 26/09/2019 | Non supportato dal 1° ottobre 2019. 1.1.121-debian9 è la versione finale rilasciata. |
1.0-debian9 |
Apache Spark 1.6.2 Apache Hadoop 2.7.4 Apache Pig 0.15.0 Apache Hive 1.2.1 Connettore Cloud Storage 1.6.10-hadoop2 Connettore BigQuery 0.10.11-hadoop2 |
22/02/2016 | 09/05/2019 | Prima release dell'immagine GA. Non supportata dal 01/04/2019. 1.0.119-debian9 è stata la versione rilasciata finale. |
0.2 |
Apache Spark 1.5.2 Apache Hadoop 2.7.1 Apache Pig 0.15.0 Apache Hive 1.2.1 Connettore Cloud Storage 1.5.1-hadoop2 Connettore BigQuery 0.7.7-hadoop2 |
18/11/2015 | 2016/08/02 | Seconda release dell'immagine beta. |
0.1 |
Apache Spark 1.5.0 Apache Hadoop 2.7.1 Apache Pig 0.14.10 Apache Hive 1.0 Connettore Cloud Storage 1.5.1-hadoop2 Connettore BigQuery 0.7.7-hadoop2 |
23/09/2015 | 2016/08/02 | Versione beta di Dataproc. Spark 1.5 è stato compilato in base a Hive 1.2. |