Liste der Dataproc-Cluster-Image-Versionen

„Ubuntu und Debian-basierte Image-Versions-Cluster | Google Cloud“

Google Dataproc verwendet Ubuntu-, Debian- und Rocky Linux-Image-Versionen, um Betriebssystem-, Big-Data-Komponenten und Google Cloud Platform-Connectors in einem Paket, in einem Cluster bereitgestellt wird. Weitere Informationen finden Sie unter Dataproc-Versionsverwaltung.

Standardversion von Dataproc-Images

Dataproc aktualisiert die Standard-Image-Version auf die neueste allgemein verfügbarer Debian-basierter Dataproc nach dem GA-Release-Datum (General Availability, GA).

Unterstützte Dataproc-Image-Versionen

Debian-Images

Die folgenden Debian-basierten Image-Versionen werden in Dataproc unterstützt Cluster. Beachten Sie, dass neue Cluster erstellt werden, um etwaige Sub-Minor-Patches einzubeziehen, die seit der Veröffentlichung einer Version erstellt wurden.

Version Zuletzt aktualisiert Veröffentlicht am Unterstützt bis Verfügbar bis Hinweise
2.2-debian12 30.09.2024 2023/12/08 2025-12-31 31.12.2027 Release mit allgemeiner Verfügbarkeit Die Image-Version 2.2 wird am 13. September 2024 zur Standard-Image-Version.
2.1-debian11 2024/09/30 12.12.2022 31.12.2024 31.12.2026 Release mit allgemeiner Verfügbarkeit
2.0-debian10 2024/09/30 22.01.2021 31.07.2024 31.07.2026 Release mit allgemeiner Verfügbarkeit

Ubuntu-Images

Die folgenden Ubuntu LTS-basierten Image-Versionen werden unterstützt in: Dataproc-Cluster Beachten Sie, dass neue Cluster erstellt werden, um etwaige Sub-Minor-Patches einzubeziehen, die seit der Veröffentlichung einer Version erstellt wurden.

Version Zuletzt aktualisiert Veröffentlicht am Unterstützt bis Verfügbar bis Hinweise
2.2-ubuntu22 30.09.2024 08.12.2023 31.12.2025 31.12.2027 Release mit allgemeiner Verfügbarkeit
2.1-ubuntu20 30.09.2024 12.12.2022 31.12.2024 31.12.2026 Release mit allgemeiner Verfügbarkeit
2.0-ubuntu18 2024/09/30 22.01.2021 31.07.2024 31.07.2026 Release mit allgemeiner Verfügbarkeit

Rocky Linux-Images

Die folgenden Rocky Linux-basierten Image-Versionen werden in Dataproc-Clustern unterstützt. Beachten Sie, dass neue Cluster erstellt werden, um etwaige Sub-Minor-Patches einzubeziehen, die seit der Veröffentlichung einer Version erstellt wurden.

Version Zuletzt aktualisiert Veröffentlicht am Unterstützt bis Verfügbar bis Hinweise
2.2-rocky9 30.09.2024 08.12.2023 31.12.2025 31.12.2027 Release mit allgemeiner Verfügbarkeit
2.1-rocky8 2024/09/30 12.12.2022 31.12.2024 31.12.2026 Release mit allgemeiner Verfügbarkeit
2.0-rocky8 2024/09/30 18.02.2022 31.07.2024 31.07.2026 Release mit allgemeiner Verfügbarkeit

Nicht unterstützte Dataproc-Image-Versionen

Folgende Dataproc-Versionen werden nicht unterstützt. Dataproc bietet keine Aktualisierungen und keine Unterstützung für Cluster, die mit diesen Versionen erstellt wurden. Sie können weiterhin einen Cluster ausführen, der mit einer nicht unterstützten Version erstellt wurde. Es wird jedoch empfohlen, den Cluster durch einen neuen Cluster zu ersetzen, der mit einer unterstützten Version erstellt wurde.

Version Umfasst Veröffentlicht am Zuletzt aktualisiert Hinweise
1.5-debian10/-ubuntu18/-rocky8 Apache Spark 2.4.8
Apache Hadoop 2.10.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage-Connector 2.1.9-hadoop2
Python 3.7
Scala 2.12.10
Zookeeper 3.4.14
2020/03/25:debian10/ubuntu18
2022/02/18:rocky8
28.04.2023 Seit dem 28.04.2023 nicht mehr unterstützt.
1.5.89-debian10/-Ubuntu18/-rocky8 war die letzte veröffentlichte Version.
2.0-centos8 Apache Spark 3.1.2
Apache Hadoop 3.2.2
Apache Pig 0.18.0-SNAPSHOT
Apache Hive 3.1.2
Cloud Storage-Connector 2.2.4-hadoop3
Python 3.8
Scala 2.12.14
Zookeeper 3.4.14
2021/03/16 2022-02-01 Wird seit dem 01.02.2022 nicht mehr unterstützt.
2.0.30-centos8 war die letzte veröffentlichte Version.
1.5-centos8 Apache Spark 2.4.8
Apache Hadoop 2.10.1
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage-Connector 2.1.5-hadoop2
Python 3.7
Scala 2.12.10
Zookeeper 3.4.14
14.12.2020 01.02.2022 Seit dem 01.02.2022 nicht mehr unterstützt.
1.5.56-centos8 war die letzte veröffentlichte Version.
1.4-debian10/-ubuntu18 Apache Spark 2.4.8
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage-Connector 1.9.18-hadoop2
Python 3.6
Scala 2.11.12
Zookeeper 3.4.14
22.03.2019 01.02.2022 Wird seit 01.02.2022 nicht mehr unterstützt.
1.4.80-debian10/-ubuntu18 war die letzte veröffentlichte Version.
1.3-debian10/-ubuntu18 Apache Spark 2.3.4
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage connector 1.9.18-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
29.06.2018 22.12.2021 Wird seit 01.08.2021 nicht mehr unterstützt.
1.3.95-debian10/-ubuntu18 war die letzte veröffentlichte Version, in der Log4j2-Sicherheitslücken behoben wurden. Hinweis: Frühere Versionen sind anfällig und müssen aktualisiert werden.
1.4-debian9 Apache Spark 2.4.5
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage-Connector 1.9.17-hadoop2
Python 3.6
Scala 2.11.12
Zookeeper 3.4.13
22.03.2019 10.07.2020 Seit 10.07.2020 nicht mehr unterstützt.
1.4.33-debian9 war die letzte veröffentlichte Version.
1.3-debian9 Apache Spark 2.3.4
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage-Connector 1.9.17-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
29.06.2018 10.07.2020 Seit 10.07.2020 nicht mehr unterstützt.
1.3.62-debian9 war die letzte veröffentlichte Version.
1.2-debian9 Apache Spark 2.2.3
Apache Hadoop 2.8.5
Apache Pig 0.16.0
Apache Hive 2.1.1
Cloud Storage-Connector 1.6.10-hadoop2
BigQuery-Connector 0.10.11-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
21.07.2017 10.07.2020 Wird seit 10.07.2020 nicht mehr unterstützt.
1.2.102-debian9 war die letzte veröffentlichte Version.
1.1-debian9 Apache Spark 2.0.2
Apache Hadoop 2.7.7
Apache Pig 0.16.0
Apache Hive 2.1.1
Cloud Storage-Connector 1.6.10-hadoop2
BigQuery-Connector 0.10.11-hadoop2
08.08.2016 26.09.2019 Wird seit 01.10.2019 nicht mehr unterstützt.
1.1.121-debian9 ist die letzte veröffentlichte Version.
1.0-debian9 Apache Spark 1.6.2
Apache Hadoop 2.7.4
Apache Pig 0.15.0
Apache Hive 1.2.1
Cloud Storage-Connector 1.6.10-hadoop2
BigQuery-Connector 0.10.11-hadoop2
22.02.2016 09.05.2019 Erste Veröffentlichung des GA-Images.
Seit dem 1. April 2019 nicht mehr unterstützt.
1.0.119-debian9 war die endgültige Version.
0.2 Apache Spark 1.5.2
Apache Hadoop 2.7.1
Apache Pig 0.15.0
Apache Hive 1.2.1
Cloud Storage-Connector 1.5.1-hadoop2
BigQuery-Connector 0.7.7-hadoop2
18.11.2015 2.8.2016 Beta-Image zweites Release
0.1 Apache Spark 1.5.0
Apache Hadoop 2.7.1
Apache Pig 0.14.10
Apache Hive 1.0
Cloud Storage-Connector 1.5.1-hadoop2
BigQuery-Connector 0.7.7-hadoop2
23.9.2015 2.8.2016 Dataproc-Betarelease.
Spark 1.5 wurde basierend auf Hive 1.2 kompiliert.