Dataproc イメージ バージョン リスト

Google Dataproc は、イメージ バージョンを使用して、オペレーティング システム、ビッグデータ コンポーネント、Google Cloud Platform コネクタを、クラスタにデプロイされた 1 つのパッケージにバンドルします。詳細は、Dataproc のバージョニングをご覧ください。

サポート対象の Dataproc バージョン

Debian イメージ

Dataproc クラスタでは、次の Debian 10 ベースのイメージ バージョンがサポートされています。リリース以降にバージョンに加えられたサブマイナー パッチを含める場合、新しいクラスタが作成されるのでご注意ください。

Debian ベースのクラスタを作成する場合、イメージ バージョンの OS ディストリビューション コード接尾辞を省略できます。たとえば、
バージョン 最終更新 リリース日
preview-debian10 2020/11/16 2020/06/11 プレビュー リリース
1.5-debian10 2020/11/16 2020/03/25 一般提供リリース。
1.4-debian10 2020/11/16 2019/03/22 一般提供リリース。
1.3-debian10 2020/11/16 2018/06/29 一般提供リリース。

Ubuntu イメージ

Dataproc クラスタでは、次の Ubuntu 18.04 LTS ベースのイメージ バージョンがサポートされています。リリース以降にバージョンに加えられたサブマイナー パッチを含める場合、新しいクラスタが作成されるのでご注意ください。

バージョン 最終更新 リリース日
preview-ubuntu18 2020/11/16 2020/06/11 プレビュー リリース
1.5-ubuntu18 2020/11/16 2020/03/25 一般提供リリース。
1.4-ubuntu18 2020/11/16 2019/03/22 一般提供リリース。
1.3-ubuntu18 2020/11/16 2019/03/22 一般提供リリース。

サポート対象ではない Dataproc バージョン

次の Dataproc のバージョンはサポートされていません。 Dataproc は、これらのバージョンで作成されたクラスタの更新とサポートを提供していません。サポートされていないバージョンで作成されたクラスタを引き続き実行することはできますが、サポートされているバージョンで作成された新しいクラスタに置き換えることをおすすめします。

バージョン 含まれる内容 リリース日 最終更新
1.4-debian9 Apache Spark 2.4.5
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage コネクタ 1.9.17-hadoop2
Python 3.6
Scala 2.11.12
Zookeeper 3.4.13
2019/03/22 2020/07/10 2020 年 7 月 10 日にサポート対象外になりました。
1.4.33-debian9 は最終リリース バージョンでした。
1.3-debian9 Apache Spark 2.3.4
Apache Hadoop 2.9.2
Apache Pig 0.17.0
Apache Hive 2.3.7
Cloud Storage コネクタ 1.9.17-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
2018 年 6 月 29 日 2020/07/10 2020 年 7 月 10 日にサポート対象外になりました。
1.3.62-debian9 は最終リリース バージョンでした。
1.2-debian9 Apache Spark 2.2.3
Apache Hadoop 2.8.5
Apache Pig 0.16.0
Apache Hive 2.1.1
Cloud Storage コネクタ 1.6.10-hadoop2
BigQuery コネクタ 0.10.11-hadoop2
Python 2.7
Scala 2.11.8
Zookeeper 3.4.13
2017/07/21 2020/07/10 2020 年 7 月 10 日にサポート対象外になりました。
1.2.102-debian9 が最終リリース バージョンでした。
1.1-debian9 Apache Spark 2.0.2
Apache Hadoop 2.7.7
Apache Pig 0.16.0
Apache Hive 2.1.1
Cloud Storage コネクタ 1.6.10-hadoop2
BigQuery コネクタ 0.10.11-hadoop2
2016/08/08 2019/09/26 2019 年 10 月 1 日の時点ではサポートされていません。
1.1.121-debian9 が最終リリース バージョンです。
1.0-debian9 Apache Spark 1.6.2
Apache Hadoop 2.7.4
Apache Pig 0.15.0
Apache Hive 1.2.1
Cloud Storage コネクタ 1.6.10-hadoop2
BigQuery コネクタ 0.10.11-hadoop2
2016/02/22 2019/05/09 GA イメージの最初のリリース
2019 年 4 月 1 日にサポート対象外
1.0.119-debian9 が最終リリース バージョン
0.2 Apache Spark 1.5.2
Apache Hadoop 2.7.1
Apache Pig 0.15.0
Apache Hive 1.2.1
Cloud Storage コネクタ 1.5.1-hadoop2
BigQuery コネクタ 0.7.7-hadoop2
2015 年 11 月 18 日 2016 年 8 月 2 日 ベータイメージのセカンド リリース。
0.1 Apache Spark 1.5.0
Apache Hadoop 2.7.1
Apache Pig 0.14.10
Apache Hive 1.0
Cloud Storage コネクタ 1.5.1-hadoop2
BigQuery コネクタ 0.7.7-hadoop2
2015 年 9 月 23 日 2016 年 8 月 2 日 Dataproc ベータ版リリース。
Spark 1.5 は、Hive 1.2 に対してコンパイルされています。