Google Dataproc usa las versiones de imágenes de Ubuntu, Debian y Rocky Linux para agrupar el sistema operativo, los componentes de macrodatos y los conectores de Google Cloud Platform en un solo paquete que se implementa en un clúster. Para obtener más información, consulta Control de versiones de Dataproc.
Versión con imágenes de Dataproc predeterminada
Dataproc actualiza la versión de imagen predeterminada a la última versión de imagen de Dataproc basada en Debian disponible de manera general un mes después de su fecha de lanzamiento.
Versiones de Dataproc compatibles
Imágenes de Debian
Las siguientes versiones de imagen basadas en Debian son compatibles con los clústeres de Dataproc. Ten en cuenta que se crearán nuevos clústeres para incluir cualquier parche de menor importancia que se haya realizado en una versión desde su lanzamiento.
Versión | Última actualización | Lanzamiento | Compatible hasta | Disponible hasta | Notas |
---|---|---|---|---|---|
2.1-debian11; | 15/09/2023 | 12/12/2022 | 31/12/2024 | 31/12/2026 | Esta es la versión de disponibilidad general. |
2.0-debian10 | 15/09/2023 | 22/01/2021 | 31/12/2023 | 31/12/2025 | Esta es la versión de disponibilidad general. |
Imágenes de Ubuntu
Las siguientes versiones de imagen basadas en LTS de Ubuntu son compatibles con los clústeres de Dataproc. Ten en cuenta que se crearán nuevos clústeres para incluir cualquier parche de menor importancia que se haya realizado en una versión desde su lanzamiento.
Versión | Última actualización | Lanzamiento | Compatible hasta | Disponible hasta | Notas |
---|---|---|---|---|---|
2.1-ubuntu20; | 15/09/2023 | 12/12/2022 | 31/12/2024 | 31/12/2026 | Esta es la versión de disponibilidad general. |
2.0-ubuntu18 | 15/09/2023 | 22/01/2021 | 31/12/2023 | 31/12/2025 | Esta es la versión de disponibilidad general. |
Imágenes de Rocky Linux
Las siguientes versiones de imagen basadas en Rocky Linux son compatibles con los clústeres de Dataproc. Ten en cuenta que se crearán nuevos clústeres para incluir cualquier parche de menor importancia que se haya realizado en una versión desde su lanzamiento.
Versión | Última actualización | Lanzamiento | Compatible hasta | Disponible hasta | Notas |
---|---|---|---|---|---|
2.1-rocky8 | 15/09/2023 | 12/12/2022 | 31/12/2024 | 31/12/2026 | Esta es la versión de disponibilidad general. |
2.0-rocky8 | 15/09/2023 | 18/02/2022 | 31/12/2023 | 31/12/2025 | Esta es la versión de disponibilidad general. |
Versiones de Dataproc que no son compatibles
Las siguientes versiones de Dataproc no son compatibles. Dataproc no proporciona actualizaciones ni asistencia para los clústeres creados con estas versiones. Aunque puedes continuar ejecutando un clúster que se creó con una versión no compatible, se recomienda reemplazar el clúster por uno nuevo creado con una versión compatible.
Versión | Incluye | Lanzamiento | Última actualización | Notas |
---|---|---|---|---|
1.5-debian10/-ubuntu18/-rocky8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector de Cloud Storage 2.1.9-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
25/03/2020:debian10/ubuntu18 18/02/2022:rocky8 |
28/04/2023 | No es compatible al 28/04/2023. 1.5.89-debian10/-ubuntu18/-rocky8 era la versión final que se lanzó. |
2.0-centos8 |
Apache Spark 3.1.2 Apache Hadoop 3.2.2 Apache Pig 0.18.0-SNAPSHOT Apache Hive 3.1.2 Conector de Cloud Storage 2.2.4-hadoop3 Python 3.8 Scala 2.12.14 Zookeeper 3.4.14 |
16/03/2021 | 01/02/2022 | No es compatible al 01/02/2022. 2.0.30-centos8 fue la versión final. |
1.5-centos8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.1 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector de Cloud Storage 2.1.5-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
14/12/2020 | 01/02/2022 | No es compatible al 01/02/2022. 1.5.56-centos8 fue la versión final que se lanzó. |
1.4-debian10/-ubuntu18 |
Apache Spark 2.4.8 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector de Cloud Storage 1.9.18-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.14 |
2019/03/22 | 01/02/2022 | No es compatible al 01/02/2022. 1.4.80-debian10/-ubuntu18 era la versión final que se lanzó. |
1.3-debian10/-ubuntu18 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage connector 1.9.18-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
29/06/2018 | 22/12/2021 | No es compatible al 01/08/2021. 1.3.95-debian10/-ubuntu18 era la versión final que se lanzó, en la que se abordan las vulnerabilidades de log4j2. Nota: Las versiones anteriores son vulnerables y se deben actualizar. |
1.4-debian9 |
Apache Spark 2.4.5 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Conector de Cloud Storage 1.9.17-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.13 |
2019/03/22 | 2020/07/10 | No es compatible desde el 10/07/2020. 1.3.62-debian9 fue la última versión de actualización. |
1.3-debian9 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage connector 1.9.17-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
29/06/2018 | 2020/07/10 | No es compatible desde el 10/07/2020. 1.3.62-debian9 fue la última versión de actualización. |
1.2-debian9 |
Apache Spark 2.2.3 Apache Hadoop 2.8.5 Apache Pig 0.16.0 Apache Hive 2.1.1 Cloud Storage connector 1.6.10-hadoop2 BigQuery connector 0.10.11-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2017/07/21 | 2020/07/10 | No es compatible desde el 10/07/2020. 1.2.102-debian9 es la última versión de actualización. |
1.1-debian9 |
Apache Spark 2.0.2 Apache Hadoop 2.7.7 Apache Pig 0.16.0 Apache Hive 2.1.1 Conector de Cloud Storage 1.6.10-hadoop2 Conector de BigQuery 0.10.11-hadoop2 |
08/08/2016 | 26/09/2019 | No es compatible desde el 01/10/2019. 1.1.21-debian9 es la última versión publicada. |
1.0-debian9 |
Apache Spark 1.6.2 Apache Hadoop 2.7.4 Apache Pig 0.15.0 Apache Hive 1.2.1 Conector de Cloud Storage 1.6.10-hadoop2 Conector de BigQuery 0.10.11-hadoop2 |
22/022016 | 05/09/2019 | Primera actualización de la imagen de Google Analytics. No se admite a partir de 01/04/2019. 1.0.119-debian9 fue la última versión publicada. |
0.2 |
Apache Spark 1.5.2 Apache Hadoop 2.7.1 Apache Pig 0.15.0 Apache Hive 1.2.1 Conector de Cloud Storage 1.5.1-hadoop2 Conector de BigQuery 0.7.7-hadoop2 |
18/11/2015 | 02/08/2016 | Segunda versión de la imagen Beta. |
0.1 |
Apache Spark 1.5.0 Apache Hadoop 2.7.1 Apache Pig 0.14.10 Apache Hive 1.0 Conector de Cloud Storage 1.5.1-hadoop2 Conector de BigQuery 0.7.7-hadoop2 |
23/09/2015 | 02/08/2016 | Versión beta de Dataproc. Spark 1.5 se compiló con Hive 1.2 |