Cloud Dataproc のイメージ バージョン リスト

Google Cloud Dataproc は、イメージ バージョンを使用してオペレーティング システム、ビッグデータ コンポーネント、Google Cloud Platform コネクタを 1 つのパッケージにバンドルします(このパッケージをクラスタにデプロイします)。詳しくは、Cloud Dataproc のバージョニングをご覧ください。

サポートされている Cloud Dataproc のバージョン

Debian イメージ

Cloud Dataproc クラスタでは、次の Debian9 ベースのイメージ バージョンがサポートされています。リリース以降にバージョンに加えられたサブマイナー パッチを含める場合、新しいクラスタが作成されるのでご注意ください。

Debian ベースのクラスタを作成する場合、イメージ バージョンの OS ディストリビューション コード接尾辞を省略できます。たとえば、
バージョン 最終更新 リリース日
1.5-debian10 2020/03/25 2020/03/25 一般提供リリース。
1.4-debian9 2020/03/25 2019/03/22 2020 年 4 月 31 日以降、Dataproc 1.4 がデフォルトのイメージ バージョンになります。
1.3-debian9 2020/03/25 2018/06/29 2019 年 1 月 22 日以降は、これが新しいクラスタのデフォルト バージョンです。
1.2-debian9 2020/03/25 2017/7/21 2017 年 8 月 8 日以降、2019 年 1 月 22 日までは、これが新しいクラスタのデフォルト バージョンでした。2020 年 6 月 30 日以降、Dataproc 1.2 のリリースは終了します。

Ubuntu イメージ

Dataproc クラスタでは、次の Ubuntu 18.04 LTS ベースのイメージ バージョンがサポートされています。リリース以降にバージョンに加えられたサブマイナー パッチを含める場合、新しいクラスタが作成されるのでご注意ください。

バージョン 最終更新 リリース日
1.5-ubuntu18 2020/03/25 2020/03/25
1.4-ubuntu18 2020/03/25 2019/03/22
1.3-ubuntu18 2020/03/25 2019/03/22

サポートされていない Cloud Dataproc のバージョン

次の Dataproc のバージョンはサポートされていません。Dataproc は、これらのバージョンで作成されたクラスタの更新とサポートを提供していません。サポートされていないバージョンで作成されたクラスタを引き続き実行することはできますが、サポートされているバージョンで作成された新しいクラスタに置き換えることをおすすめします。

バージョン 含まれる内容 リリース日 最終更新
1.1-debian9 Apache Spark 2.0.2
Apache Hadoop 2.7.7
Apache Pig 0.16.0
Apache Hive 2.1.1
Cloud Storage コネクタ 1.6.10-hadoop2
BigQuery コネクタ 0.10.11-hadoop2
2016 年 8 月 8 日 2019/09/26 GA イメージの最初のリリース
2019 年 10 月 1 日にサポート対象外
1.1.121-debian9 が最終リリース バージョン
1.0-debian9 Apache Spark 1.6.2
Apache Hadoop 2.7.4
Apache Pic 0.15.0
Apache Hive 1.2.1
Cloud Storage コネクタ 1.6.10-hadoop2
BigQuery コネクタ 0.10.11-hadoop2
2016 年 2 月 22 日 2019/05/09 GA イメージの最初のリリース
2019 年 4 月 1 日にサポート対象外
1.0.119-debian9 が最終リリース バージョン
0.2 Apache Spark 1.5.2
Apache Hadoop 2.7.1
Apache Pic 0.15.0
Apache Hive 1.2.1
Cloud Storage コネクタ 1.5.1-hadoop2
BigQuery コネクタ 0.7.7-hadoop2
2015 年 11 月 18 日 2016 年 8 月 2 日 ベータイメージのセカンド リリース。
0.1 Apache Spark 1.5.0
Apache Hadoop 2.7.1
Apache Pig 0.14.0
Apache Hive 1.0
Cloud Storage コネクタ 1.5.1-hadoop2
BigQuery コネクタ 0.7.7-hadoop2
2015 年 9 月 23 日 2016 年 8 月 2 日 Cloud Dataproc ベータリリース。
Spark 1.5 は、Hive 1.2 に対してコンパイルされています。