Dataproc 映像版本列表

Google Dataproc 使用映像版本将操作系统、大数据组件和 Google Cloud Platform 连接器捆绑到一个软件包中,该软件包将部署在集群中。如需了解详情,请参阅 Dataproc 版本控制

默认的 Dataproc 映像版本

最新的正式版 Debian 发布后 1 个月,Dataproc 会将默认的映像版本更新到基于该 Debian 的 Dataproc 映像版本。

支持的 Dataproc 版本

Debian 映像

Dataproc 集群支持以下基于 Debian 10 的映像版本。请注意,系统将创建新集群,以整合自版本发布以来针对该版本提供的所有次要补丁程序。

版本 上次更新时间 发布日期 支持截止日期 备注
2.0-debian10 2021/11/01 2021/01/22 2023/02 正式版发布。
1.5-debian10 2021/11/01 2020/03/25 2022/04 正式版发布。
1.4-debian10 2021/11/01 2019/03/22 2021/11 正式版发布。

Ubuntu 映像

Dataproc 集群支持以下基于 Ubuntu 18.04 LTS 的映像版本。请注意,系统将创建新集群,以整合自版本发布以来针对该版本提供的所有次要补丁程序。

版本 上次更新时间 发布日期 支持截止日期 备注
2.0-ubuntu18 2021/11/01 2021/01/22 2023/02 正式版发布。
1.5-ubuntu18 2021/11/01 2020/03/25 2022/04 正式版发布。
1.4-ubuntu18 2021/11/01 2019/03/22 2021/11 正式版发布。

CentOS 映像

Dataproc 集群支持以下基于 CentOS 8 的映像版本。请注意,系统将创建新集群,以整合自版本发布以来针对该版本提供的所有次要补丁程序。

版本 上次更新时间 发布日期 支持截止日期 备注
2.0-centos8 2021/11/01 2021/03/16 2023/02 正式版发布。
1.5-centos8 2021/11/01 2020/12/14 2022/04 正式版发布。

不支持的 Dataproc 版本

以下 Dataproc 版本不受支持。 Dataproc 不会为使用这些版本创建的集群提供更新和支持。虽然您可以继续运行使用不受支持的版本创建的集群,但建议将此类集群替换为使用受支持的版本创建的新集群。

版本 包含的内容 发布日期 上次更新时间 备注
1.3-debian10/-ubuntu18 Apache Spark 2.3.4
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage 连接器 1.9.18-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
2018/06/29 2021/07/27 从 2021 年 8 月 1 日起不再受支持。
1.3.94-debian10/-ubuntu18 是最后的发布版本。
1.4-debian9 Apache Spark 2.4.5
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage 连接器 1.9.17-hadoop2
Python 3.6
Scala 2.11.12
Zookeeper 3.4.13
2019/03/22 2020/07/10 从 2020 年 7 月 10 日开始不受支持。
1.4.33-debian9 是最后发布的版本。
1.3-debian9 Apache Spark 2.3.4
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage 连接器 1.9.17-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
2018/06/29 2020/07/10 从 2020 年 7 月 10 日开始不受支持。
1.3.62-debian9 是最后发布的版本。
1.2-debian9 Apache Spark 2.2.3
Apache Hadoop 2.8.5
Apache Pig 0.16.0
Apache Hive 2.1.1
Cloud Storage 连接器 1.6.10-hadoop2
BigQuery 连接器 0.10.11-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
2017/07/21 2020/07/10 从 2020 年 7 月 10 日开始不受支持。
1.2.102-debian9 是最后的发布版本。
1.1-debian9 Apache Spark 2.0.2
Apache Hadoop 2.7.7
Apache Pig 0.16.0
Apache Hive 2.1.1
Cloud Storage 连接器 1.6.10-hadoop2
BigQuery 连接器 0.10.11-hadoop2
2016/08/08 2019/09/26 从 2019 年 10 月 1 日开始不受支持。
1.1.121-debian9 是最后的发布版本。
1.0-debian9 Apache Spark 1.6.2
Apache Hadoop 2.7.4
Apache Pig 0.15.0
Apache Hive 1.2.1
Cloud Storage 连接器 1.6.10-hadoop2
BigQuery 连接器 0.10.11-hadoop2
2016/02/22 2019/05/09 正式版映像首次发布。
自 2019 年 4 月 1 日起不受支持。
1.0.119-debian9 是最后的发布版本。
0.2 Apache Spark 1.5.2
Apache Hadoop 2.7.1
Apache Pig 0.15.0
Apache Hive 1.2.1
Cloud Storage 连接器 1.5.1-hadoop2
BigQuery 连接器 0.7.7-hadoop2
2015/11/18 2016/08/02 测试版映像(第二版)。
0.1 Apache Spark 1.5.0
Apache Hadoop 2.7.1
Apache Pig 0.14.10
Apache Hive 1.0
Cloud Storage 连接器 1.5.1-hadoop2
BigQuery 连接器 0.7.7-hadoop2
2015/09/23 2016/08/02 Dataproc Beta 版。
已针对 Hive 1.2 对 Spark 1.5 进行了编译。