Google Dataproc 使用 Ubuntu、Debian 和 Rocky Linux 映像版本将操作系统、大数据组件和 Google Cloud Platform 连接器捆绑到一个软件包中，该软件包将部署在集群中。如需了解详情，请参阅 Dataproc 版本控制。
默认的 Dataproc 映像版本
最新的正式版 Debian 发布后，Dataproc 会将默认的映像版本更新到基于该 Debian 的 Dataproc 正式版。
支持的 Dataproc 映像版本
Debian 映像
Dataproc 支持以下基于 Debian 的映像版本 集群。请注意，系统将创建新集群，以整合自版本发布以来针对该版本提供的所有次要补丁程序。
| 版本 | 上次更新时间 | 发布日期 | 支持截止日期 | 截止日期 | 备注 |
|---|---|---|---|---|---|
| 2.2-debian12 | 2024/09/30 | 2023/12/08 | 2025 年 12 月 31 日 | 2027/12/31 | 正式版发布。映像版本 2.2 将于 2024 年 9 月 13 日成为默认映像版本。 |
| 2.1-debian11 | 2024/09/30 | 2022 年 12 月 12 日 | 2024/12/31 | 2026/12/31 | 正式版发布。 |
| 2.0-debian10 | 2024/09/30 | 2021/01/22 | 2024 年 7 月 31 日 | 2026 年 7 月 31 日 | 正式版发布。 |
Ubuntu 映像
Dataproc 集群支持以下基于 Ubuntu LTS 的映像版本。请注意，系统将创建新集群，以整合自版本发布以来针对该版本提供的所有次要补丁程序。
| 版本 | 上次更新时间 | 发布日期 | 支持截止日期 | 截止日期 | 备注 |
|---|---|---|---|---|---|
| 2.2-ubuntu22 | 2024/09/30 | 2023 年 12 月 8 日 | 2025 年 12 月 31 日 | 2027 年 12 月 31 日 | 正式版发布。 |
| 2.1-ubuntu20 | 2024/09/30 | 2022 年 12 月 12 日 | 2024/12/31 | 2026/12/31 | 正式版发布。 |
| 2.0-ubuntu18 | 2024 年 9 月 30 日 | 2021/01/22 | 2024 年 7 月 31 日 | 2026 年 7 月 31 日 | 正式版发布。 |
Rocky Linux 映像
Dataproc 集群支持以下基于 Rocky Linux 的映像版本。请注意，系统将创建新集群，以整合自版本发布以来针对该版本提供的所有次要补丁程序。
| 版本 | 上次更新时间 | 发布日期 | 支持截止日期 | 截止日期 | 备注 |
|---|---|---|---|---|---|
| 2.2-rocky9 | 2024 年 9 月 30 日 | 2023 年 12 月 8 日 | 2025 年 12 月 31 日 | 2027 年 12 月 31 日 | 正式版发布。 |
| 2.1-rocky8 | 2024/09/30 | 2022 年 12 月 12 日 | 2024/12/31 | 2026/12/31 | 正式版发布。 |
| 2.0-rocky8 | 2024/09/30 | 2022 年 2 月 18 日 | 2024 年 7 月 31 日 | 2026 年 7 月 31 日 | 正式版发布。 |
不受支持的 Dataproc 映像版本
以下 Dataproc 版本不受支持。 Dataproc 不会为使用这些版本创建的集群提供更新和支持。虽然您可以继续运行使用不受支持的版本创建的集群，但建议将此类集群替换为使用受支持的版本创建的新集群。
| 版本 | 包含的内容 | 发布日期 | 上次更新时间 | 备注 |
|---|---|---|---|---|
1.5-debian10/-ubuntu18/-rocky8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 连接器 2.1.9-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020/03/25:debian10/ubuntu18 2022/02/18:rocky8 |
2023 年 4 月 28 日 | 自 2023 年 4 月 28 日起不再受支持。 1.5.89-debian10/-ubuntu18/-rocky8 是最终发布的版本。 |
2.0-centos8 |
Apache Spark 3.1.2 Apache Hadoop 3.2.2 Apache Pig 0.18.0-SNAPSHOT Apache Hive 3.1.2 Cloud Storage 连接器 2.2.4-hadoop3 Python 3.8 Scala 2.12.14 Zookeeper 3.4.14 |
2021 年 3 月 16 日 | 2022/02/01 | 从 2022 年 2 月 1 日起不再受支持。 2.0.30-centos8 是最后发布的版本。 |
1.5-centos8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.1 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 连接器 2.1.5-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020 年 12 月 14 日 | 2022/02/01 | 从 2022 年 2 月 1 日起不再受支持。 1.5.56-centos8 是最后发布的版本。 |
1.4-debian10/-ubuntu18 |
Apache Spark 2.4.8 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 连接器 1.9.18-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.14 |
2019/03/22 | 2022/02/01 | 从 2022 年 2 月 1 日起不再受支持。 1.4.80-debian10/-ubuntu18 是最后发布的版本。 |
1.3-debian10/-ubuntu18 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 连接器 1.9.18-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2018/06/29 | 2021/12/22 | 从 2021 年 8 月 1 日开始不受支持。 1.3.95-debian10/-ubuntu18 是最后的发布版本，该版本解决了 log4j2 漏洞。注意：以前发布的版本存在漏洞，必须升级。 |
1.4-debian9 |
Apache Spark 2.4.5 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 连接器 1.9.17-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.13 |
2019/03/22 | 2020/07/10 | 从 2020 年 7 月 10 日开始不受支持。 1.4.33-debian9 是最后发布的版本。 |
1.3-debian9 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage 连接器 1.9.17-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2018/06/29 | 2020/07/10 | 从 2020 年 7 月 10 日开始不受支持。 1.3.62-debian9 是最后发布的版本。 |
1.2-debian9 |
Apache Spark 2.2.3 Apache Hadoop 2.8.5 Apache Pig 0.16.0 Apache Hive 2.1.1 Cloud Storage 连接器 1.6.10-hadoop2 BigQuery 连接器 0.10.11-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2017/07/21 | 2020/07/10 | 从 2020 年 7 月 10 日开始不受支持。 1.2.102-debian9 是最后的发布版本。 |
1.1-debian9 |
Apache Spark 2.0.2 Apache Hadoop 2.7.7 Apache Pig 0.16.0 Apache Hive 2.1.1 Cloud Storage 连接器 1.6.10-hadoop2 BigQuery 连接器 0.10.11-hadoop2 |
2016/08/08 | 2019/09/26 | 从 2019 年 10 月 1 日开始不受支持。 1.1.121-debian9 是最后的发布版本。 |
1.0-debian9 |
Apache Spark 1.6.2 Apache Hadoop 2.7.4 Apache Pig 0.15.0 Apache Hive 1.2.1 Cloud Storage 连接器 1.6.10-hadoop2 BigQuery 连接器 0.10.11-hadoop2 |
2016/02/22 | 2019/05/09 | 正式版映像首次发布。 自 2019 年 4 月 1 日起不受支持。 1.0.119-debian9 是最后的发布版本。 |
0.2 |
Apache Spark 1.5.2 Apache Hadoop 2.7.1 Apache Pig 0.15.0 Apache Hive 1.2.1 Cloud Storage 连接器 1.5.1-hadoop2 BigQuery 连接器 0.7.7-hadoop2 |
2015/11/18 | 2016/08/02 | 测试版映像（第二版）。 |
0.1 |
Apache Spark 1.5.0 Apache Hadoop 2.7.1 Apache Pig 0.14.10 Apache Hive 1.0 Cloud Storage 连接器 1.5.1-hadoop2 BigQuery 连接器 0.7.7-hadoop2 |
2015/09/23 | 2016/08/02 | Dataproc Beta 版。 已针对 Hive 1.2 对 Spark 1.5 进行了编译。 |