Lista de versiones de imágenes de clústeres de Dataproc

Google Dataproc usa las versiones de imágenes de Ubuntu, Debian y Rocky Linux para agrupar el sistema operativo, los componentes de macrodatos y los conectores de Google Cloud Platform en un solo paquete que se implementa en un clúster. Para obtener más información, consulta Control de versiones de Dataproc.

• Las versiones de imágenes de Dataproc son compatibles durante 24 meses después de su lanzamiento inicial.
• Las versiones de imágenes de Dataproc seguirán disponibles durante 24 meses después de la fecha de finalización de la asistencia.

Versión con imágenes de Dataproc predeterminada

Dataproc actualiza la versión de imagen predeterminada a la última versión de imagen de Dataproc basada en Debian disponible de manera general un mes después de su fecha de lanzamiento.

Versiones de Dataproc compatibles

Dataproc evita la creación de clústeres con versiones de imagen anteriores a 1.3.95, 1.4.77, 1.5.53 y 2.0.27, que se veían afectadas por las vulnerabilidades de seguridad de Apache Log4j. Dataproc también evita la creación de clústeres para las versiones de imagen 0.x, 1.0.x, 1.1.x y 1.2.x. Dataproc recomienda que, cuando sea posible, crees clústeres de Dataproc con las versiones de imágenes subsecundarias más recientes.

Consulta las notas de la versión de Dataproc para obtener información específica sobre imágenes y actualizaciones de log4j.

Imágenes de Debian

Las siguientes versiones de imagen basadas en Debian son compatibles con los clústeres de Dataproc. Ten en cuenta que se crearán nuevos clústeres para incluir cualquier parche de menor importancia que se haya realizado en una versión desde su lanzamiento.

Cuando creas un clúster basado en Debian, puedes omitir el sufijo del código de distribución del SO de la versión con imágenes, por ejemplo, si especificas 2.0 para seleccionar la imagen 2.0-debian10. El sufijo del SO se debe usar para seleccionar una imagen basada en Ubuntu o Rocky, por ejemplo, mediante la especificación de 2.0-ubuntu18. Consulta Selecciona versiones para ver ejemplos de selección de imágenes.

Versión	Última actualización	Lanzamiento	Compatible hasta	Disponible hasta	Notas
2.1-debian11;	15/09/2023	12/12/2022	31/12/2024	31/12/2026	Esta es la versión de disponibilidad general.
2.0-debian10	15/09/2023	22/01/2021	31/12/2023	31/12/2025	Esta es la versión de disponibilidad general.

Imágenes de Ubuntu

Las siguientes versiones de imagen basadas en LTS de Ubuntu son compatibles con los clústeres de Dataproc. Ten en cuenta que se crearán nuevos clústeres para incluir cualquier parche de menor importancia que se haya realizado en una versión desde su lanzamiento.

Versión	Última actualización	Lanzamiento	Compatible hasta	Disponible hasta	Notas
2.1-ubuntu20;	15/09/2023	12/12/2022	31/12/2024	31/12/2026	Esta es la versión de disponibilidad general.
2.0-ubuntu18	15/09/2023	22/01/2021	31/12/2023	31/12/2025	Esta es la versión de disponibilidad general.

Imágenes de Rocky Linux

Las siguientes versiones de imagen basadas en Rocky Linux son compatibles con los clústeres de Dataproc. Ten en cuenta que se crearán nuevos clústeres para incluir cualquier parche de menor importancia que se haya realizado en una versión desde su lanzamiento.

Versión	Última actualización	Lanzamiento	Compatible hasta	Disponible hasta	Notas
2.1-rocky8	15/09/2023	12/12/2022	31/12/2024	31/12/2026	Esta es la versión de disponibilidad general.
2.0-rocky8	15/09/2023	18/02/2022	31/12/2023	31/12/2025	Esta es la versión de disponibilidad general.

Versiones de Dataproc que no son compatibles

Haz clic en este vínculo para descargar una secuencia de comandos que puedas ejecutar a fin de verificar si tu organización o proyecto usa una imagen de Dataproc no compatible.

Las siguientes versiones de Dataproc no son compatibles. Dataproc no proporciona actualizaciones ni asistencia para los clústeres creados con estas versiones. Aunque puedes continuar ejecutando un clúster que se creó con una versión no compatible, se recomienda reemplazar el clúster por uno nuevo creado con una versión compatible.

Versión	Incluye	Lanzamiento	Última actualización	Notas
1.5-debian10/-ubuntu18/-rocky8	Apache Spark 2.4.8 Apache Hadoop 2.10.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector de Cloud Storage 2.1.9-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14	25/03/2020:debian10/ubuntu18 18/02/2022:rocky8	28/04/2023	No es compatible al 28/04/2023. 1.5.89-debian10/-ubuntu18/-rocky8 era la versión final que se lanzó.
2.0-centos8	Apache Spark 3.1.2 Apache Hadoop 3.2.2 Apache Pig 0.18.0-SNAPSHOT Apache Hive 3.1.2 Conector de Cloud Storage 2.2.4-hadoop3 Python 3.8 Scala 2.12.14 Zookeeper 3.4.14	16/03/2021	01/02/2022	No es compatible al 01/02/2022. 2.0.30-centos8 fue la versión final.
1.5-centos8	Apache Spark 2.4.8 Apache Hadoop 2.10.1 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector de Cloud Storage 2.1.5-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14	14/12/2020	01/02/2022	No es compatible al 01/02/2022. 1.5.56-centos8 fue la versión final que se lanzó.
1.4-debian10/-ubuntu18	Apache Spark 2.4.8 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector de Cloud Storage 1.9.18-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.14	2019/03/22	01/02/2022	No es compatible al 01/02/2022. 1.4.80-debian10/-ubuntu18 era la versión final que se lanzó.
1.3-debian10/-ubuntu18	Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage connector 1.9.18-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13	29/06/2018	22/12/2021	No es compatible al 01/08/2021. 1.3.95-debian10/-ubuntu18 era la versión final que se lanzó, en la que se abordan las vulnerabilidades de log4j2. Nota: Las versiones anteriores son vulnerables y se deben actualizar.
1.4-debian9	Apache Spark 2.4.5 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector de Cloud Storage 1.9.17-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.13	2019/03/22	2020/07/10	No es compatible desde el 10/07/2020. 1.3.62-debian9 fue la última versión de actualización.
1.3-debian9	Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage connector 1.9.17-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13	29/06/2018	2020/07/10	No es compatible desde el 10/07/2020. 1.3.62-debian9 fue la última versión de actualización.
1.2-debian9	Apache Spark 2.2.3 Apache Hadoop 2.8.5 Apache Pig 0.16.0 Apache Hive 2.1.1 Cloud Storage connector 1.6.10-hadoop2 BigQuery connector 0.10.11-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13	2017/07/21	2020/07/10	No es compatible desde el 10/07/2020. 1.2.102-debian9 es la última versión de actualización.
1.1-debian9	Apache Spark 2.0.2 Apache Hadoop 2.7.7 Apache Pig 0.16.0 Apache Hive 2.1.1 Conector de Cloud Storage 1.6.10-hadoop2 Conector de BigQuery 0.10.11-hadoop2	08/08/2016	26/09/2019	No es compatible desde el 01/10/2019. 1.1.21-debian9 es la última versión publicada.
1.0-debian9	Apache Spark 1.6.2 Apache Hadoop 2.7.4 Apache Pig 0.15.0 Apache Hive 1.2.1 Conector de Cloud Storage 1.6.10-hadoop2 Conector de BigQuery 0.10.11-hadoop2	22/022016	05/09/2019	Primera actualización de la imagen de Google Analytics. No se admite a partir de 01/04/2019. 1.0.119-debian9 fue la última versión publicada.
0.2	Apache Spark 1.5.2 Apache Hadoop 2.7.1 Apache Pig 0.15.0 Apache Hive 1.2.1 Conector de Cloud Storage 1.5.1-hadoop2 Conector de BigQuery 0.7.7-hadoop2	18/11/2015	02/08/2016	Segunda versión de la imagen Beta.
0.1	Apache Spark 1.5.0 Apache Hadoop 2.7.1 Apache Pig 0.14.10 Apache Hive 1.0 Conector de Cloud Storage 1.5.1-hadoop2 Conector de BigQuery 0.7.7-hadoop2	23/09/2015	02/08/2016	Versión beta de Dataproc. Spark 1.5 se compiló con Hive 1.2