Dataproc イメージ バージョン リスト

Google Dataproc は、イメージ バージョンを使用してオペレーティング システム、ビッグデータ コンポーネント、Google Cloud Platform コネクタを、クラスタにデプロイされる 1 つのパッケージにバンドルします。詳細は、Dataproc のバージョニングをご覧ください。

デフォルトの Dataproc イメージ バージョン

Dataproc は、デフォルト イメージ バージョンを、一般提供開始から 1 か月後に、一般提供されている最新の Debian ベースの Dataproc イメージ バージョンに更新します。

サポート対象の Dataproc バージョン

Debian イメージ

Dataproc クラスタでは、次の Debian 10 ベースのイメージ バージョンがサポートされています。リリース以降にバージョンに加えられたサブマイナー パッチを含める場合、新しいクラスタが作成されるのでご注意ください。

バージョン 最終更新 リリース日 サポート期限
2.0-debian10 2021/08/30 2021/01/22 2023/02 一般提供リリース。
1.5-debian10 2021/08/30 2020/03/25 2022/04 一般提供リリース。
1.4-debian10 2021/08/30 2019/03/22 2021/11 一般提供リリース。

Ubuntu イメージ

Dataproc クラスタでは、次の Ubuntu 18.04 LTS ベースのイメージ バージョンがサポートされています。リリース以降にバージョンに加えられたサブマイナー パッチを含める場合、新しいクラスタが作成されるのでご注意ください。

バージョン 最終更新 リリース日 サポート期限
2.0-ubuntu18 2021/08/30 2021/01/22 2023/02 一般提供リリース。
1.5-ubuntu18 2021/08/30 2020/03/25 2022/04 一般提供リリース。
1.4-ubuntu18 2021/08/30 2019/03/22 2021/11 一般提供リリース。

CentOS イメージ

Dataproc クラスタでは、次の CentOS 8 ベースのイメージ バージョンがサポートされています。リリース以降にバージョンに加えられたサブマイナー パッチを含める場合、新しいクラスタが作成されるのでご注意ください。

バージョン 最終更新 リリース日 サポート期限
2.0-centos8 2021/08/30 2021/03/16 2023/02 一般提供リリース。
1.5-centos8 2021/08/30 2020/12/14 2022/04 一般提供リリース。

サポート対象ではない Dataproc バージョン

次の Dataproc のバージョンはサポートされていません。 Dataproc は、これらのバージョンで作成されたクラスタの更新とサポートを提供していません。サポートされていないバージョンで作成されたクラスタを引き続き実行することはできますが、サポートされているバージョンで作成された新しいクラスタに置き換えることをおすすめします。

バージョン 含まれる内容 リリース日 最終更新
1.3-debian10/-ubuntu18 Apache Spark 2.3.4
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage コネクタ 1.9.18-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
2018 年 6 月 29 日 2021/07/27 2021 年 8 月 1 日の時点ではサポートされていません。
1.3.94-debian10/-ubuntu18 が最終リリース バージョンでした。
1.4-debian9 Apache Spark 2.4.5
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage コネクタ 1.9.17-hadoop2
Python 3.6
Scala 2.11.12
Zookeeper 3.4.13
2019/03/22 2020/07/10 2020 年 7 月 10 日にサポート対象外になりました。
1.4.33-debian9 は最終リリース バージョンでした。
1.3-debian9 Apache Spark 2.3.4
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage コネクタ 1.9.17-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
2018 年 6 月 29 日 2020/07/10 2020 年 7 月 10 日にサポート対象外になりました。
1.3.62-debian9 は最終リリース バージョンでした。
1.2-debian9 Apache Spark 2.2.3
Apache Hadoop 2.8.5
Apache Pig 0.16.0
Apache Hive 2.1.1
Cloud Storage コネクタ 1.6.10-hadoop2
BigQuery コネクタ 0.10.11-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
2017/07/21 2020/07/10 2020 年 7 月 10 日にサポート対象外になりました。
1.2.102-debian9 が最終リリース バージョンでした。
1.1-debian9 Apache Spark 2.0.2
Apache Hadoop 2.7.7
Apache Pig 0.16.0
Apache Hive 2.1.1
Cloud Storage コネクタ 1.6.10-hadoop2
BigQuery コネクタ 0.10.11-hadoop2
2016/08/08 2019/09/26 2019 年 10 月 1 日の時点ではサポートされていません。
1.1.121-debian9 が最終リリース バージョンです。
1.0-debian9 Apache Spark 1.6.2
Apache Hadoop 2.7.4
Apache Pig 0.15.0
Apache Hive 1.2.1
Cloud Storage コネクタ 1.6.10-hadoop2
BigQuery コネクタ 0.10.11-hadoop2
2016/02/22 2019/05/09 GA イメージの最初のリリース
2019 年 4 月 1 日にサポート対象外
1.0.119-debian9 が最終リリース バージョン
0.2 Apache Spark 1.5.2
Apache Hadoop 2.7.1
Apache Pig 0.15.0
Apache Hive 1.2.1
Cloud Storage コネクタ 1.5.1-hadoop2
BigQuery コネクタ 0.7.7-hadoop2
2015 年 11 月 18 日 2016 年 8 月 2 日 ベータイメージのセカンド リリース。
0.1 Apache Spark 1.5.0
Apache Hadoop 2.7.1
Apache Pig 0.14.10
Apache Hive 1.0
Cloud Storage コネクタ 1.5.1-hadoop2
BigQuery コネクタ 0.7.7-hadoop2
2015 年 9 月 23 日 2016 年 8 月 2 日 Dataproc ベータ版リリース。
Spark 1.5 は、Hive 1.2 に対してコンパイルされています。