Dataproc 集群映像版本列表

“基于 Ubuntu 和 Debian 的映像版本集群 | Google Cloud”

Google Dataproc 使用 Ubuntu、Debian 和 Rocky Linux 映像版本将操作系统、大数据组件和 Google Cloud Platform 连接器捆绑到一个部署在集群的软件包中。如需了解详情,请参阅 Dataproc 版本控制

默认的 Dataproc 映像版本

在正式版 (GA) 发布一个月后,Dataproc 会将默认映像版本更新为基于 Debian 的最新正式版 Dataproc 映像版本。

支持的 Dataproc 版本

Debian 映像

Dataproc 集群支持以下基于 Debian 的映像版本。请注意,系统将创建新集群,以整合自版本发布以来针对该版本提供的所有次要补丁程序。

版本 上次更新时间 发布日期 支持截止日期 截止日期: Notes
2.2-debian12 2024 年 3 月 21 日 2023 年 12 月 8 日 2025 年 12 月 31 日 2027 年 12 月 31 日 正式版发布。
2.1-debian11 2024 年 3 月 21 日 2022 年 12 月 12 日 2024 年 12 月 31 日 2026 年 12 月 31 日 正式版发布。
2.0-debian10 2024 年 3 月 21 日 2021/01/22 2024 年 7 月 31 日 2026 年 7 月 31 日 正式版发布。

Ubuntu 映像

Dataproc 集群支持以下基于 Ubuntu LTS 的映像版本。请注意,系统将创建新集群,以整合自版本发布以来针对该版本提供的所有次要补丁程序。

版本 上次更新时间 发布日期 支持截止日期 截止日期: Notes
2.2-ubuntu22 2024 年 3 月 21 日 2023 年 12 月 8 日 2025 年 12 月 31 日 2027 年 12 月 31 日 正式版发布。
2.1-ubuntu20 2024 年 3 月 21 日 2022 年 12 月 12 日 2024 年 12 月 31 日 2026 年 12 月 31 日 正式版发布。
2.0-ubuntu18 2024 年 3 月 21 日 2021/01/22 2024 年 7 月 31 日 2026 年 7 月 31 日 正式版发布。

Rocky Linux 映像

Dataproc 集群支持以下基于 Rocky Linux 的映像版本。请注意,系统将创建新集群,以整合自版本发布以来针对该版本提供的所有次要补丁程序。

版本 上次更新时间 发布日期 支持截止日期 截止日期: Notes
2.2-rocky9 2024 年 3 月 21 日 2023 年 12 月 8 日 2025 年 12 月 31 日 2027 年 12 月 31 日 正式版发布。
2.1-rocky8 2024 年 3 月 21 日 2022 年 12 月 12 日 2024 年 12 月 31 日 2026 年 12 月 31 日 正式版发布。
2.0-rocky8 2024 年 3 月 21 日 2022 年 2 月 18 日 2024 年 7 月 31 日 2026 年 7 月 31 日 正式版发布。

不支持的 Dataproc 版本

以下 Dataproc 版本不受支持。 Dataproc 不会为使用这些版本创建的集群提供更新和支持。虽然您可以继续运行使用不受支持的版本创建的集群,但建议将此类集群替换为使用受支持的版本创建的新集群。

版本 包含的内容 发布日期 上次更新时间 Notes
1.5-debian10/-ubuntu18/-rocky8 Apache Spark 2.4.8
Apache Hadoop 2.10.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage 连接器 2.1.9-hadoop2
Python 3.7
Scala 2.12.10
Zookeeper 3.4.14
2020/03/25:debian10/ubuntu18
2022/02/18:rocky8
2023 年 4 月 28 日 自 2023 年 4 月 28 日起不受支持。
1.5.89-debian10/-ubuntu18/-rocky8 是最终发布版本。
2.0-centos8 Apache Spark 3.1.2
Apache Hadoop 3.2.2
Apache Pig 0.18.0-SNAPSHOT
Apache Hive 3.1.2
Cloud Storage 连接器 2.2.4-hadoop3
Python 3.8
Scala 2.12.14
Zookeeper 3.4.14
2021 年 3 月 16 日 2022/02/01 自 2022 年 2 月 1 日起不受支持。
2.0.30-centos8 是最终发布版本。
1.5-centos8 Apache Spark 2.4.8
Apache Hadoop 2.10.1
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage 连接器 2.1.5-hadoop2
Python 3.7
Scala 2.12.10
Zookeeper 3.4.14
2020 年 12 月 14 日 2022/02/01 自 2022 年 2 月 1 日起不受支持。
1.5.56-centos8 是最终发布版本。
1.4-debian10/-ubuntu18 Apache Spark 2.4.8
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage 连接器 1.9.18-hadoop2
Python 3.6
Scala 2.11.12
Zookeeper 3.4.14
2019/03/22 2022/02/01 从 2022 年 2 月 1 日起不再受支持。
1.4.80-debian10/-ubuntu18 是最后发布的版本。
1.3-debian10/-ubuntu18 Apache Spark 2.3.4
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage 连接器 1.9.18-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
2018/06/29 2021/12/22 从 2021 年 8 月 1 日开始不受支持。
1.3.95-debian10/-ubuntu18 是最后的发布版本,该版本解决了 log4j2 漏洞。注意:以前发布的版本存在漏洞,必须升级。
1.4-debian9 Apache Spark 2.4.5
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage 连接器 1.9.17-hadoop2
Python 3.6
Scala 2.11.12
Zookeeper 3.4.13
2019/03/22 2020/07/10 从 2020 年 7 月 10 日开始不受支持。
1.4.33-debian9 是最后发布的版本。
1.3-debian9 Apache Spark 2.3.4
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage 连接器 1.9.17-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
2018/06/29 2020/07/10 从 2020 年 7 月 10 日开始不受支持。
1.3.62-debian9 是最后发布的版本。
1.2-debian9 Apache Spark 2.2.3
Apache Hadoop 2.8.5
Apache Pig 0.16.0
Apache Hive 2.1.1
Cloud Storage 连接器 1.6.10-hadoop2
BigQuery 连接器 0.10.11-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
2017/07/21 2020/07/10 从 2020 年 7 月 10 日开始不受支持。
1.2.102-debian9 是最后的发布版本。
1.1-debian9 Apache Spark 2.0.2
Apache Hadoop 2.7.7
Apache Pig 0.16.0
Apache Hive 2.1.1
Cloud Storage 连接器 1.6.10-hadoop2
BigQuery 连接器 0.10.11-hadoop2
2016/08/08 2019/09/26 从 2019 年 10 月 1 日开始不受支持。
1.1.121-debian9 是最后的发布版本。
1.0-debian9 Apache Spark 1.6.2
Apache Hadoop 2.7.4
Apache Pig 0.15.0
Apache Hive 1.2.1
Cloud Storage 连接器 1.6.10-hadoop2
BigQuery 连接器 0.10.11-hadoop2
2016/02/22 2019/05/09 正式版映像首次发布。
自 2019 年 4 月 1 日起不受支持。
1.0.119-debian9 是最后的发布版本。
0.2 Apache Spark 1.5.2
Apache Hadoop 2.7.1
Apache Pig 0.15.0
Apache Hive 1.2.1
Cloud Storage 连接器 1.5.1-hadoop2
BigQuery 连接器 0.7.7-hadoop2
2015/11/18 2016/08/02 测试版映像(第二版)。
0.1 Apache Spark 1.5.0
Apache Hadoop 2.7.1
Apache Pig 0.14.10
Apache Hive 1.0
Cloud Storage 连接器 1.5.1-hadoop2
BigQuery 连接器 0.7.7-hadoop2
2015/09/23 2016/08/02 Dataproc Beta 版。
已针对 Hive 1.2 对 Spark 1.5 进行了编译。