Lista de versiones de imágenes de clústeres de Dataproc

“Ubuntu y Clústeres de versiones de imágenes basados en Debian | Google Cloud

Google Dataproc usa versiones de imágenes de Ubuntu, Debian y Rocky Linux para agrupar el sistema operativo, los componentes de macrodatos y los conectores de Google Cloud Platform en un paquete que se implementa en un clúster. Para obtener más información, consulta Control de versiones de Dataproc.

Versión con imágenes de Dataproc predeterminada

Dataproc actualiza la versión de imagen predeterminada a la más reciente Dataproc basado en Debian disponible de forma general después de la fecha de lanzamiento de disponibilidad general (DG).

Versiones con imágenes de Dataproc compatibles

Imágenes de Debian

Las siguientes versiones de imagen basadas en Debian son compatibles con Dataproc entre los clústeres de Kubernetes. Ten en cuenta que se crearán nuevos clústeres para incluir cualquier parche de menor importancia que se haya realizado en una versión desde su lanzamiento.

Versión Última actualización Lanzamiento Compatible hasta Disponible hasta Notas
2.2‐debian12 30/09/2024 08/12/2023 2025/12/31 2027/12/31 Esta es la versión de disponibilidad general. La versión de imagen 2.2 se convierte en la versión predeterminada el 13 de septiembre de 2024.
2.1‐debian11 30/09/2024 12/12/2022 2024/12/31 31/12/2026 Esta es la versión de disponibilidad general.
2.0-debian10 30/9/2024 22/01/2021 2024/07/31 31/07/2026 Esta es la versión de disponibilidad general.

Imágenes de Ubuntu

Las siguientes versiones de imagen basadas en LTS de Ubuntu son compatibles en clústeres de Dataproc. Ten en cuenta que se crearán nuevos clústeres para incluir cualquier parche de menor importancia que se haya realizado en una versión desde su lanzamiento.

Versión Última actualización Lanzamiento Compatible hasta Disponible hasta Notas
2.2-ubuntu22 30/9/2024 8/12/2023 31/12/2025 2027/12/31 Esta es la versión de disponibilidad general.
2.1 ubuntu20 30/9/2024 12/12/2022 31/12/2024 31/12/2026 Esta es la versión de disponibilidad general.
2.0-ubuntu18 30/9/2024 22/01/2021 2024/07/31 31/07/2026 Esta es la versión de disponibilidad general.

Imágenes de Rocky Linux

Las siguientes versiones de imágenes basadas en Rocky Linux se admiten en clústeres de Dataproc. Ten en cuenta que se crearán nuevos clústeres para incluir cualquier parche de menor importancia que se haya realizado en una versión desde su lanzamiento.

Versión Última actualización Lanzamiento Compatible hasta Disponible hasta Notas
2.2-rocky9 30/09/2024 08/12/2023 2025/12/31 2027/12/31 Esta es la versión de disponibilidad general.
2.1-rocky8 30/9/2024 12/12/2022 31/12/2024 31/12/2026 Esta es la versión de disponibilidad general.
2.0-rocky8 30/9/2024 18/02/2022 31/07/2024 31/07/2026 Esta es la versión de disponibilidad general.

Versiones con imágenes de Dataproc que no son compatibles

Las siguientes versiones de Dataproc no son compatibles. Dataproc no proporciona actualizaciones ni asistencia para los clústeres creados con estas versiones. Aunque puedes continuar ejecutando un clúster que se creó con una versión no compatible, se recomienda reemplazar el clúster por uno nuevo creado con una versión compatible.

Versión Incluye Lanzamiento Última actualización Notas
1.5-debian10/-ubuntu18/-rocky8 Apache Spark 2.4.8
Apache Hadoop 2.10.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Conector de Cloud Storage 2.1.9-hadoop2
Python 3.7
Scala 2.12.10
Zookeeper 3.4.14
2020/03/25:debian10/ubuntu18
2022/02/18:rocky8
28/04/2023 No es compatible desde el 28/04/2023.
1.5.89-debian10/-ubuntu18/-rocky8 es la última versión publicada.
2.0-centos8 Apache Spark 3.1.2
Apache Hadoop 3.2.2
Apache Pig 0.18.0-SNAPSHOT
Apache Hive 3.1.2
Conector de Cloud Storage 2.2.4-hadoop3
Python 3.8
Scala 2.12.14
Zookeeper 3.4.14
16/03/2021 01/02/2022 No es compatible desde el 01/02/2022.
La versión de actualización final era 2.0.30-centos8.
1.5-centos8 Apache Spark 2.4.8
Apache Hadoop 2.10.1
Apache Pig 0.17.0
Apache Hive 2.3.7
Conector de Cloud Storage 2.1.5-hadoop2
Python 3.7
Scala 2.12.10
Zookeeper 3.4.14
14/12/2020 2022/02/01 No es compatible desde el 01/02/2022.
1.5.56-centos8 fue la última versión publicada.
1.4-debian10/-ubuntu18 Apache Spark 2.4.8
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Conector de Cloud Storage 1.9.18-hadoop2
Python 3.6
Scala 2.11.12
Zookeeper 3.4.14
2019/03/22 2022/02/01 No es compatible desde el 01/02/2022.
1.4.80-debian10/-ubuntu18 era la versión de actualización final.
1.3-debian10/-ubuntu18 Apache Spark 2.3.4
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage connector 1.9.18-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
29/06/2018 22/12/2021 No es compatible desde el 01/08/2021.
1.3.95-debian10/-ubuntu18 es la última versión publicada, que aborda las vulnerabilidades de log4j2. Nota: Las versiones anteriores son vulnerables y deben actualizarse.
1.4-debian9 Apache Spark 2.4.5
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Conector de Cloud Storage 1.9.17-hadoop2
Python 3.6
Scala 2.11.12
Zookeeper 3.4.13
2019/03/22 2020/07/10 No es compatible desde el 10/07/2020.
1.3.62-debian9 fue la última versión de actualización.
1.3-debian9 Apache Spark 2.3.4
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage connector 1.9.17-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
29/06/2018 2020/07/10 No es compatible desde el 10/07/2020.
1.3.62-debian9 fue la última versión de actualización.
1.2-debian9 Apache Spark 2.2.3
Apache Hadoop 2.8.5
Apache Pig 0.16.0
Apache Hive 2.1.1
Cloud Storage connector 1.6.10-hadoop2
BigQuery connector 0.10.11-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
2017/07/21 2020/07/10 No es compatible desde el 10/07/2020.
1.2.102-debian9 es la última versión de actualización.
1.1-debian9 Apache Spark 2.0.2
Apache Hadoop 2.7.7
Apache Pig 0.16.0
Apache Hive 2.1.1
Conector de Cloud Storage 1.6.10-hadoop2
Conector de BigQuery 0.10.11-hadoop2
08/08/2016 26/09/2019 No es compatible desde el 01/10/2019.
1.1.21-debian9 es la última versión publicada.
1.0-debian9 Apache Spark 1.6.2
Apache Hadoop 2.7.4
Apache Pig 0.15.0
Apache Hive 1.2.1
Conector de Cloud Storage 1.6.10-hadoop2
Conector de BigQuery 0.10.11-hadoop2
22/022016 05/09/2019 Primera actualización de la imagen de Google Analytics.
No se admite a partir de 01/04/2019.
1.0.119-debian9 fue la última versión publicada.
0.2 Apache Spark 1.5.2
Apache Hadoop 2.7.1
Apache Pig 0.15.0
Apache Hive 1.2.1
Conector de Cloud Storage 1.5.1-hadoop2
Conector de BigQuery 0.7.7-hadoop2
18/11/2015 02/08/2016 Segunda versión de la imagen Beta.
0.1 Apache Spark 1.5.0
Apache Hadoop 2.7.1
Apache Pig 0.14.10
Apache Hive 1.0
Conector de Cloud Storage 1.5.1-hadoop2
Conector de BigQuery 0.7.7-hadoop2
23/09/2015 02/08/2016 Versión beta de Dataproc.
Spark 1.5 se compiló con Hive 1.2