Google Dataproc utilizza le versioni immagine Ubuntu, Debian e Rocky Linux per raggruppare il sistema operativo, i componenti big data e i connettori Google Cloud Platform in un unico pacchetto di cui viene eseguito il deployment su un cluster. Per ulteriori informazioni, consulta Controllo delle versioni di Dataproc.
Versione immagine Dataproc predefinita
Dataproc aggiorna la versione immagine predefinita all'ultima versione dell'immagine Dataproc basata su Debian basata su Debian un mese dopo la data di rilascio in disponibilità generale (GA).
Versioni di Dataproc supportate
Immagini Debian
Nei cluster Dataproc sono supportate le seguenti versioni immagine basate su Debian. Tieni presente che verranno creati nuovi cluster per includere eventuali patch secondarie secondarie apportate a una versione dopo il rilascio.
Versione | Ultimo aggiornamento | Data di uscita | Supportata fino al giorno | Disponibile fino alla data | Note |
---|---|---|---|---|---|
2.2-debian12 | 28/03/2024 | 08/12/2023 | 31/12/2025 | 31/12/2027 | Release con disponibilità generale. |
2,1-debian11 | 28/03/2024 | 12/12/2022 | 31/12/2024 | 31/12/2026 | Release con disponibilità generale. |
2,0-debian10 | 28/03/2024 | 22/01/2021 | 31/07/2024 | 31/07/2026 | Release con disponibilità generale. |
Immagini Ubuntu
Nei cluster Dataproc sono supportate le seguenti versioni immagine basate su Ubuntu LTS. Tieni presente che verranno creati nuovi cluster per includere eventuali patch secondarie secondarie apportate a una versione dopo il rilascio.
Versione | Ultimo aggiornamento | Data di uscita | Supportata fino al giorno | Disponibile fino alla data | Note |
---|---|---|---|---|---|
2,2-ubuntu22 | 28/03/2024 | 08/12/2023 | 31/12/2025 | 31/12/2027 | Release con disponibilità generale. |
2,1-ubuntu20 | 28/03/2024 | 12/12/2022 | 31/12/2024 | 31/12/2026 | Release con disponibilità generale. |
2,0-ubuntu18 | 28/03/2024 | 22/01/2021 | 31/07/2024 | 31/07/2026 | Release con disponibilità generale. |
Immagini di Rocky Linux
Le seguenti versioni immagine basate su Rocky Linux sono supportate nei cluster Dataproc. Tieni presente che verranno creati nuovi cluster per includere eventuali patch secondarie secondarie apportate a una versione dopo il rilascio.
Versione | Ultimo aggiornamento | Data di uscita | Supportata fino al giorno | Disponibile fino alla data | Note |
---|---|---|---|---|---|
2.2-rocky9 | 28/03/2024 | 08/12/2023 | 31/12/2025 | 31/12/2027 | Release con disponibilità generale. |
2.1-rocky8 | 28/03/2024 | 12/12/2022 | 31/12/2024 | 31/12/2026 | Release con disponibilità generale. |
2.0-rocky8 | 28/03/2024 | 18/02/2022 | 31/07/2024 | 31/07/2026 | Release con disponibilità generale. |
Versioni di Dataproc non supportate
Le seguenti versioni di Dataproc non sono supportate. Dataproc non fornisce aggiornamenti né assistenza per i cluster creati con queste versioni. Anche se puoi continuare a eseguire un cluster creato con una versione non supportata, ti consigliamo di sostituirlo con un nuovo cluster creato con una versione supportata.
Versione | Include | Data di uscita | Ultimo aggiornamento | Note |
---|---|---|---|---|
1.5-debian10/-ubuntu18/-rocky8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Connettore Cloud Storage 2.1.9-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020/03/25:debian10/ubuntu18 2022/02/18:rocky8 |
28/04/2023 | Non supportata a partire dal 28/04/2023. 1.5.89-debian10/-ubuntu18/-rocky8 era la versione finale rilasciata. |
2.0-centos8 |
Apache Spark 3.1.2 Apache Hadoop 3.2.2 Apache Pig 0.18.0-SNAPSHOT Apache Hive 3.1.2 Connettore Cloud Storage 2.2.4-hadoop3 Python 3.8 Scala 2.12.14 Zookeeper 3.4.14 |
16/03/2021 | 01/02/2022 | Non supportata a partire dal 01/02/2022. 2.0.30-centos8 era la versione finale rilasciata. |
1.5-centos8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.1 Apache Pig 0.17.0 Apache Hive 2.3.7 Connettore Cloud Storage 2.1.5-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
14/12/2020 | 01/02/2022 | Non supportata a partire dal 01/02/2022. 1.5.56-centos8 è la versione finale rilasciata. |
1.4-debian10/-ubuntu18 |
Apache Spark 2.4.8 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Connettore Cloud Storage 1.9.18-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.14 |
22/03/2019 | 01/02/2022 | Non supportata a partire dal 01/02/2022. 1.4.80-debian10/-ubuntu18 è la versione finale rilasciata. |
1.3-debian10/-ubuntu18 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Connettore Cloud Storage 1.9.18-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
29/06/2018 | 22/12/2021 | Non supportata a partire dal 01/08/2021. 1.3.95-debian10/-ubuntu18 è la versione finale rilasciata, in cui sono state risolte le vulnerabilità log4j2. Nota: le versioni rilasciate in precedenza sono vulnerabili e devono essere sottoposte ad upgrade. |
1.4-debian9 |
Apache Spark 2.4.5 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Connettore Cloud Storage 1.9.17-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.13 |
22/03/2019 | 10/07/2020 | Non supportata a partire dal 10/07/2020. 1.4.33-debian9 è la versione finale rilasciata. |
1.3-debian9 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Connettore Cloud Storage 1.9.17-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
29/06/2018 | 10/07/2020 | Non supportata a partire dal 10/07/2020. 1.3.62-debian9 è la versione finale rilasciata. |
1.2-debian9 |
Apache Spark 2.2.3 Apache Hadoop 2.8.5 Apache Pig 0.16.0 Apache Hive 2.1.1 Connettore Cloud Storage 1.6.10-hadoop2 Connettore BigQuery 0.10.11-hadoop2 Python 2.7 Scala 2.11.8 4.Zookeeper3 3. |
21/07/2017 | 10/07/2020 | Non supportata a partire dal 10/07/2020. 1.2.102-debian9 è la versione finale rilasciata. |
1.1-debian9 |
Apache Spark 2.0.2 Apache Hadoop 2.7.7 Apache Pig 0.16.0 Apache Hive 2.1.1 Connettore Cloud Storage 1.6.10-hadoop2 Connettore BigQuery 0.10.11-hadoop2 |
08/08/2016 | 26/09/2019 | Non supportata a partire dal 10/10/2019. 1.1.121-debian9 è la versione finale rilasciata. |
1.0-debian9 |
Apache Spark 1.6.2 Apache Hadoop 2.7.4 Apache Pig 0.15.0 Apache Hive 1.2.1 Connettore Cloud Storage 1.6.10-hadoop2 Connettore BigQuery 0.10.11-hadoop2 |
22/02/2016 | 09/05/2019 | Prima release dell'immagine GA. Non supportata a partire dal 01/04/2019. 1.0.119-debian9 è la versione finale rilasciata. |
0.2 |
Apache Spark 1.5.2 Apache Hadoop 2.7.1 Apache Pig 0.15.0 Apache Hive 1.2.1 Connettore Cloud Storage 1.5.1-hadoop2 Connettore BigQuery 0.7.7-hadoop2 |
18/11/2015 | 02/08/2016 | Seconda uscita dell'immagine beta. |
0.1 |
Apache Spark 1.5.0 Apache Hadoop 2.7.1 Apache Pig 0.14.10 Apache Hive 1.0 Connettore Cloud Storage 1.5.1-hadoop2 Connettore BigQuery 0.7.7-hadoop2 |
23/09/2015 | 02/08/2016 | versione beta di Dataproc. Spark 1.5 è stato compilato a fronte di Hive 1.2. |