Google Dataproc verwendet Image-Versionen von Ubuntu, Debian und Rocky Linux, um Betriebssystem, Big-Data-Komponenten und Google Cloud Platform-Connectors in einem Paket zu bündeln, das auf einem Cluster bereitgestellt wird. Weitere Informationen finden Sie unter Dataproc-Versionsverwaltung.
Standardversion von Dataproc-Images
Dataproc aktualisiert die Standardversion auf die neueste allgemein verfügbare Debian-basierte Dataproc-Image-Version einen Monat nach dem Releasedatum der allgemeinen Verfügbarkeit (GA).
Unterstützte Dataproc-Versionen
Debian-Images
Die folgenden Debian-basierten Image-Versionen werden in Dataproc-Clustern unterstützt. Beachten Sie, dass neue Cluster erstellt werden, um etwaige Sub-Minor-Patches einzubeziehen, die seit der Veröffentlichung einer Version erstellt wurden.
| Version | Zuletzt aktualisiert | Veröffentlicht am | Unterstützt bis | Verfügbar bis | Notes |
|---|---|---|---|---|---|
| 2.2-debian12 | 28.03.2024 | 08.12.2023 | 31.12.2025 | 31.12.2027 | Release mit allgemeiner Verfügbarkeit |
| 2.1-debian11 | 28.03.2024 | 12.12.2022 | 31.12.2024 | 31.12.2026 | Release mit allgemeiner Verfügbarkeit |
| 2.0-debian10 | 28.03.2024 | 22.01.2021 | 31.07.2024 | 31.07.2026 | Release mit allgemeiner Verfügbarkeit |
Ubuntu-Images
Die folgenden LTS-basierten Image-Versionen auf Ubuntu werden in Dataproc-Clustern unterstützt. Beachten Sie, dass neue Cluster erstellt werden, um etwaige Sub-Minor-Patches einzubeziehen, die seit der Veröffentlichung einer Version erstellt wurden.
| Version | Zuletzt aktualisiert | Veröffentlicht am | Unterstützt bis | Verfügbar bis | Notes |
|---|---|---|---|---|---|
| 2.2 Ubuntu22 | 28.03.2024 | 08.12.2023 | 31.12.2025 | 31.12.2027 | Release mit allgemeiner Verfügbarkeit |
| 2.1-Ubuntu20 | 28.03.2024 | 12.12.2022 | 31.12.2024 | 31.12.2026 | Release mit allgemeiner Verfügbarkeit |
| 2.0-ubuntu18 | 28.03.2024 | 22.01.2021 | 31.07.2024 | 31.07.2026 | Release mit allgemeiner Verfügbarkeit |
Rocky Linux-Images
Die folgenden Rocky Linux-basierten Image-Versionen werden in Dataproc-Clustern unterstützt. Beachten Sie, dass neue Cluster erstellt werden, um etwaige Sub-Minor-Patches einzubeziehen, die seit der Veröffentlichung einer Version erstellt wurden.
| Version | Zuletzt aktualisiert | Veröffentlicht am | Unterstützt bis | Verfügbar bis | Notes |
|---|---|---|---|---|---|
| 2,2-rocky9 | 28.03.2024 | 08.12.2023 | 31.12.2025 | 31.12.2027 | Release mit allgemeiner Verfügbarkeit |
| 2,1-rocky8 | 28.03.2024 | 12.12.2022 | 31.12.2024 | 31.12.2026 | Release mit allgemeiner Verfügbarkeit |
| 2.0-rocky8 | 28.03.2024 | 18.02.2022 | 31.07.2024 | 31.07.2026 | Release mit allgemeiner Verfügbarkeit |
Nicht unterstützte Dataproc-Versionen
Folgende Dataproc-Versionen werden nicht unterstützt. Dataproc bietet keine Aktualisierungen und keine Unterstützung für Cluster, die mit diesen Versionen erstellt wurden. Sie können weiterhin einen Cluster ausführen, der mit einer nicht unterstützten Version erstellt wurde. Es wird jedoch empfohlen, den Cluster durch einen neuen Cluster zu ersetzen, der mit einer unterstützten Version erstellt wurde.
| Version | Umfasst | Veröffentlicht am | Zuletzt aktualisiert | Notes |
|---|---|---|---|---|
1.5-debian10/-ubuntu18/-rocky8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage-Connector 2.1.9-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020/03/25:debian10/ubuntu18 2022/02/18:rocky8 |
28.04.2023 | Nicht unterstützt ab 28.04.2023. 1.5.89-debian10/-Ubuntu18/-rocky8 war die endgültige veröffentlichte Version. |
2.0-centos8 |
Apache Spark 3.1.2 Apache Hadoop 3.2.2 Apache Pig 0.18.0-SNAPSHOT Apache Hive 3.1.2 Cloud Storage-Connector 2.2.4-hadoop3 Python 3.8 Scala 2.12.14 Zookeeper 3.4.14 |
16.03.2021 | 01.02.2022 | Nicht unterstützt ab 01.02.2022. 2.0.30-centos8 war die endgültige veröffentlichte Version. |
1.5-centos8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.1 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage-Connector 2.1.5-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
14.12.2020 | 01.02.2022 | Nicht unterstützt ab 01.02.2022. 1.5.56-centos8 war die endgültige veröffentlichte Version. |
1.4-debian10/-ubuntu18 |
Apache Spark 2.4.8 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage-Connector 1.9.18-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.14 |
22.03.2019 | 01.02.2022 | Nicht mehr unterstützt ab 01.02.2022. 1.4.80-debian10/-Ubuntu18 war die endgültige veröffentlichte Version. |
1.3-debian10/-ubuntu18 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage connector 1.9.18-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
29.06.2018 | 22.12.2021 | Nicht mehr unterstützt seit 01.08.2021. 1.3.95-debian10/-Ubuntu18 war die endgültige veröffentlichte Version, bei der log4j2-Sicherheitslücken behoben wurden. Hinweis: Zuvor veröffentlichte Versionen sind gefährdet und müssen aktualisiert werden. |
1.4-debian9 |
Apache Spark 2.4.5 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage-Connector 1.9.17-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.13 |
22.03.2019 | 10.07.2020 | Seit 10.07.2020 nicht mehr unterstützt. 1.4.33-debian9 war die letzte veröffentlichte Version. |
1.3-debian9 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage-Connector 1.9.17-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
29.06.2018 | 10.07.2020 | Seit 10.07.2020 nicht mehr unterstützt. 1.3.62-debian9 war die letzte veröffentlichte Version. |
1.2-debian9 |
Apache Spark 2.2.3 Apache Hadoop 2.8.5 Apache Pig 0.16.0 Apache Hive 2.1.1 Cloud Storage-Connector 1.6.10-hadoop2 BigQuery-Connector 0.10.11-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
21.07.2017 | 10.07.2020 | Wird seit 10.07.2020 nicht mehr unterstützt. 1.2.102-debian9 war die letzte veröffentlichte Version. |
1.1-debian9 |
Apache Spark 2.0.2 Apache Hadoop 2.7.7 Apache Pig 0.16.0 Apache Hive 2.1.1 Cloud Storage-Connector 1.6.10-hadoop2 BigQuery-Connector 0.10.11-hadoop2 |
08.08.2016 | 26.09.2019 | Wird seit 01.10.2019 nicht mehr unterstützt. 1.1.121-debian9 ist die letzte veröffentlichte Version. |
1.0-debian9 |
Apache Spark 1.6.2 Apache Hadoop 2.7.4 Apache Pig 0.15.0 Apache Hive 1.2.1 Cloud Storage-Connector 1.6.10-hadoop2 BigQuery-Connector 0.10.11-hadoop2 |
22.02.2016 | 09.05.2019 | Erste Veröffentlichung des GA-Images. Seit dem 1. April 2019 nicht mehr unterstützt. 1.0.119-debian9 war die endgültige Version. |
0.2 |
Apache Spark 1.5.2 Apache Hadoop 2.7.1 Apache Pig 0.15.0 Apache Hive 1.2.1 Cloud Storage-Connector 1.5.1-hadoop2 BigQuery-Connector 0.7.7-hadoop2 |
18.11.2015 | 2.8.2016 | Beta-Image zweites Release |
0.1 |
Apache Spark 1.5.0 Apache Hadoop 2.7.1 Apache Pig 0.14.10 Apache Hive 1.0 Cloud Storage-Connector 1.5.1-hadoop2 BigQuery-Connector 0.7.7-hadoop2 |
23.9.2015 | 2.8.2016 | Dataproc-Betarelease. Spark 1.5 wurde basierend auf Hive 1.2 kompiliert. |