Dataproc 集群映像版本列表

“Ubuntu 和基于 Debian 的映像版本集群 |Google Cloud”

Google Dataproc 使用 Ubuntu、Debian 和 Rocky Linux 映像版本将操作系统、大数据组件和 Google Cloud Platform 连接器捆绑到一个软件包中,该软件包将部署在集群中。如需了解详情,请参阅 Dataproc 版本控制

默认的 Dataproc 映像版本

最新的正式版 Debian 发布后,Dataproc 会将默认的映像版本更新到基于该 Debian 的 Dataproc 正式版。

支持的 Dataproc 映像版本

Debian 映像

Dataproc 支持以下基于 Debian 的映像版本 集群。请注意,系统将创建新集群,以整合自版本发布以来针对该版本提供的所有次要补丁程序。

版本 上次更新时间 发布日期 支持截止日期 截止日期 备注
2.2-debian12 2024/09/30 2023/12/08 2025 年 12 月 31 日 2027/12/31 正式版发布。映像版本 2.2 将于 2024 年 9 月 13 日成为默认映像版本。
2.1-debian11 2024/09/30 2022 年 12 月 12 日 2024/12/31 2026/12/31 正式版发布。
2.0-debian10 2024/09/30 2021/01/22 2024 年 7 月 31 日 2026 年 7 月 31 日 正式版发布。

Ubuntu 映像

Dataproc 集群支持以下基于 Ubuntu LTS 的映像版本。请注意,系统将创建新集群,以整合自版本发布以来针对该版本提供的所有次要补丁程序。

版本 上次更新时间 发布日期 支持截止日期 截止日期 备注
2.2-ubuntu22 2024/09/30 2023 年 12 月 8 日 2025 年 12 月 31 日 2027 年 12 月 31 日 正式版发布。
2.1-ubuntu20 2024/09/30 2022 年 12 月 12 日 2024/12/31 2026/12/31 正式版发布。
2.0-ubuntu18 2024 年 9 月 30 日 2021/01/22 2024 年 7 月 31 日 2026 年 7 月 31 日 正式版发布。

Rocky Linux 映像

Dataproc 集群支持以下基于 Rocky Linux 的映像版本。请注意,系统将创建新集群,以整合自版本发布以来针对该版本提供的所有次要补丁程序。

版本 上次更新时间 发布日期 支持截止日期 截止日期 备注
2.2-rocky9 2024 年 9 月 30 日 2023 年 12 月 8 日 2025 年 12 月 31 日 2027 年 12 月 31 日 正式版发布。
2.1-rocky8 2024/09/30 2022 年 12 月 12 日 2024/12/31 2026/12/31 正式版发布。
2.0-rocky8 2024/09/30 2022 年 2 月 18 日 2024 年 7 月 31 日 2026 年 7 月 31 日 正式版发布。

不受支持的 Dataproc 映像版本

以下 Dataproc 版本不受支持。 Dataproc 不会为使用这些版本创建的集群提供更新和支持。虽然您可以继续运行使用不受支持的版本创建的集群,但建议将此类集群替换为使用受支持的版本创建的新集群。

版本 包含的内容 发布日期 上次更新时间 备注
1.5-debian10/-ubuntu18/-rocky8 Apache Spark 2.4.8
Apache Hadoop 2.10.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage 连接器 2.1.9-hadoop2
Python 3.7
Scala 2.12.10
Zookeeper 3.4.14
2020/03/25:debian10/ubuntu18
2022/02/18:rocky8
2023 年 4 月 28 日 自 2023 年 4 月 28 日起不再受支持。
1.5.89-debian10/-ubuntu18/-rocky8 是最终发布的版本。
2.0-centos8 Apache Spark 3.1.2
Apache Hadoop 3.2.2
Apache Pig 0.18.0-SNAPSHOT
Apache Hive 3.1.2
Cloud Storage 连接器 2.2.4-hadoop3
Python 3.8
Scala 2.12.14
Zookeeper 3.4.14
2021 年 3 月 16 日 2022/02/01 从 2022 年 2 月 1 日起不再受支持。
2.0.30-centos8 是最后发布的版本。
1.5-centos8 Apache Spark 2.4.8
Apache Hadoop 2.10.1
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage 连接器 2.1.5-hadoop2
Python 3.7
Scala 2.12.10
Zookeeper 3.4.14
2020 年 12 月 14 日 2022/02/01 从 2022 年 2 月 1 日起不再受支持。
1.5.56-centos8 是最后发布的版本。
1.4-debian10/-ubuntu18 Apache Spark 2.4.8
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage 连接器 1.9.18-hadoop2
Python 3.6
Scala 2.11.12
Zookeeper 3.4.14
2019/03/22 2022/02/01 从 2022 年 2 月 1 日起不再受支持。
1.4.80-debian10/-ubuntu18 是最后发布的版本。
1.3-debian10/-ubuntu18 Apache Spark 2.3.4
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage 连接器 1.9.18-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
2018/06/29 2021/12/22 从 2021 年 8 月 1 日开始不受支持。
1.3.95-debian10/-ubuntu18 是最后的发布版本,该版本解决了 log4j2 漏洞。注意:以前发布的版本存在漏洞,必须升级。
1.4-debian9 Apache Spark 2.4.5
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage 连接器 1.9.17-hadoop2
Python 3.6
Scala 2.11.12
Zookeeper 3.4.13
2019/03/22 2020/07/10 从 2020 年 7 月 10 日开始不受支持。
1.4.33-debian9 是最后发布的版本。
1.3-debian9 Apache Spark 2.3.4
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage 连接器 1.9.17-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
2018/06/29 2020/07/10 从 2020 年 7 月 10 日开始不受支持。
1.3.62-debian9 是最后发布的版本。
1.2-debian9 Apache Spark 2.2.3
Apache Hadoop 2.8.5
Apache Pig 0.16.0
Apache Hive 2.1.1
Cloud Storage 连接器 1.6.10-hadoop2
BigQuery 连接器 0.10.11-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
2017/07/21 2020/07/10 从 2020 年 7 月 10 日开始不受支持。
1.2.102-debian9 是最后的发布版本。
1.1-debian9 Apache Spark 2.0.2
Apache Hadoop 2.7.7
Apache Pig 0.16.0
Apache Hive 2.1.1
Cloud Storage 连接器 1.6.10-hadoop2
BigQuery 连接器 0.10.11-hadoop2
2016/08/08 2019/09/26 从 2019 年 10 月 1 日开始不受支持。
1.1.121-debian9 是最后的发布版本。
1.0-debian9 Apache Spark 1.6.2
Apache Hadoop 2.7.4
Apache Pig 0.15.0
Apache Hive 1.2.1
Cloud Storage 连接器 1.6.10-hadoop2
BigQuery 连接器 0.10.11-hadoop2
2016/02/22 2019/05/09 正式版映像首次发布。
自 2019 年 4 月 1 日起不受支持。
1.0.119-debian9 是最后的发布版本。
0.2 Apache Spark 1.5.2
Apache Hadoop 2.7.1
Apache Pig 0.15.0
Apache Hive 1.2.1
Cloud Storage 连接器 1.5.1-hadoop2
BigQuery 连接器 0.7.7-hadoop2
2015/11/18 2016/08/02 测试版映像(第二版)。
0.1 Apache Spark 1.5.0
Apache Hadoop 2.7.1
Apache Pig 0.14.10
Apache Hive 1.0
Cloud Storage 连接器 1.5.1-hadoop2
BigQuery 连接器 0.7.7-hadoop2
2015/09/23 2016/08/02 Dataproc Beta 版。
已针对 Hive 1.2 对 Spark 1.5 进行了编译。