Dataproc 映像版本列表

Google Dataproc 使用映像版本将操作系统、大数据组件和 Google Cloud Platform 连接器捆绑到一个部署在集群上的软件包中。如需了解详情,请参阅 Dataproc 版本控制

支持的 Dataproc 版本

Debian 映像

Dataproc 集群支持以下基于 Debian 10 的映像版本。请注意,系统将创建新集群,以整合自版本发布以来针对该版本提供的所有次要补丁程序。

版本 上次更新时间 发布日期 备注
preview-debian10 2020/10/06 2020/06/11 预览版。
1.5-debian10 2020/10/06 2020/03/25 正式版发布。
1.4-debian10 2020/10/06 2019/03/22 正式版发布。
1.3-debian10 2020/10/06 2018/06/29 正式版发布。

Ubuntu 映像

Dataproc 集群支持以下基于 Ubuntu 18.04 LTS 的映像版本。请注意,系统将创建新集群,以整合自版本发布以来针对该版本提供的所有次要补丁程序。

版本 上次更新时间 发布日期 备注
preview-ubuntu18 2020/10/06 2020/06/11 预览版。
1.5-ubuntu18 2020/10/06 2020/03/25 正式版发布。
1.4-ubuntu18 2020/10/06 2019/03/22 正式版发布。
1.3-ubuntu18 2020/10/06 2019/03/22 正式版发布。

不支持的 Dataproc 版本

以下 Dataproc 版本不受支持。 Dataproc 不会为使用这些版本创建的集群提供更新和支持。虽然您可以继续运行使用不受支持的版本创建的集群,但建议将此类集群替换为使用受支持的版本创建的新集群。

版本 包含的内容 发布日期 上次更新时间 备注
1.4-debian9 Apache Spark 2.4.5
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage 连接器 1.9.17-hadoop2
Python 3.6
Scala 2.11.12
Zookeeper 3.4.13
2019/03/22 2020/07/10 从 2020 年 7 月 10 日开始不受支持。
1.4.33-debian9 是最后发布的版本。
1.3-debian9 Apache Spark 2.3.4
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage 连接器 1.9.17-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
2018/06/29 2020/07/10 从 2020 年 7 月 10 日开始不受支持。
1.3.62-debian9 是最后发布的版本。
1.2-debian9 Apache Spark 2.2.3
Apache Hadoop 2.8.5
Apache Pig 0.16.0
Apache Hive 2.1.1
Cloud Storage 连接器 1.6.10-hadoop2
BigQuery 连接器 0.10.11-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
2017/07/21 2020/07/10 从 2020 年 7 月 10 日开始不受支持。
1.2.102-debian9 是最后的发布版本。
1.1-debian9 Apache Spark 2.0.2
Apache Hadoop 2.7.7
Apache Pig 0.16.0
Apache Hive 2.1.1
Cloud Storage 连接器 1.6.10-hadoop2
BigQuery 连接器 0.10.11-hadoop2
2016/08/08 2019/09/26 从 2019 年 10 月 1 日开始不受支持。
1.1.121-debian9 是最后的发布版本。
1.0-debian9 Apache Spark 1.6.2
Apache Hadoop 2.7.4
Apache Pig 0.15.0
Apache Hive 1.2.1
Cloud Storage 连接器 1.6.10-hadoop2
BigQuery 连接器 0.10.11-hadoop2
2016/02/22 2019/05/09 正式版映像首次发布。
自 2019 年 4 月 1 日起不受支持。
1.0.119-debian9 是最后的发布版本。
0.2 Apache Spark 1.5.2
Apache Hadoop 2.7.1
Apache Pig 0.15.0
Apache Hive 1.2.1
Cloud Storage 连接器 1.5.1-hadoop2
BigQuery 连接器 0.7.7-hadoop2
2015/11/18 2016/08/02 测试版映像(第二版)。
0.1 Apache Spark 1.5.0
Apache Hadoop 2.7.1
Apache Pig 0.14.10
Apache Hive 1.0
Cloud Storage 连接器 1.5.1-hadoop2
BigQuery 连接器 0.7.7-hadoop2
2015/09/23 2016/08/02 Dataproc Beta 版。
已针对 Hive 1.2 对 Spark 1.5 进行了编译。