Dataproc イメージ バージョン リスト

Google Dataproc は、イメージ バージョンを使用してオペレーティング システム、ビッグデータ コンポーネント、Google Cloud Platform コネクタを 1 つのパッケージにバンドルします(このパッケージをクラスタにデプロイします)。詳細については、Dataproc のバージョニングをご覧ください。

サポートされている Dataproc バージョン

Debian イメージ

Dataproc クラスタでは、次の Debian9 / 10 ベースのイメージ バージョンがサポートされています。リリース以降にバージョンに加えられたサブマイナー パッチを含める場合、新しいクラスタが作成されるのでご注意ください。

Debian ベースのクラスタを作成する場合、イメージ バージョンの OS ディストリビューション コード接尾辞を省略できます。たとえば、
バージョン 最終更新 リリース日
Preview 2.0-debian10 2020/07/17 2020/06/11 最新バージョン: 2.0.0-RC5-debian10
1.5-debian10 2020/07/17 2020/03/25 一般提供リリース。
1.4-debian9/10 2020/07/17 2019/03/22 2020 年 6 月 30 日以降、Dataproc 1.4-debian10 がデフォルトの 1.4 イメージになります。 2020 年 6 月 30 日以降、1.4-debian9 イメージ リリースは保証されません。
1.3-debian9/10 2020/07/17 2018/06/29 2019 年 1 月 22 日から 2020 年 6 月 30 日までは、Dataproc 1.3-debian9 が新しいクラスタのデフォルト バージョンでした。2020 年 6 月 30 日以降、Dataproc 1.3-debian10 がデフォルトの 1.3 イメージになります。 2020 年 6 月 30 日以降、1.3-debian9 イメージ リリースは保証されません。

Ubuntu イメージ

Dataproc クラスタでは、次の Ubuntu 18.04 LTS ベースのイメージ バージョンがサポートされています。リリース以降にバージョンに加えられたサブマイナー パッチを含める場合、新しいクラスタが作成されるのでご注意ください。

バージョン 最終更新 リリース日
Preview 2.0-ubuntu18 2020/07/17 2020/06/11 最新バージョン: 2.0.0-RC5-ubuntu18
1.5-ubuntu18 2020/07/17 2020/03/25
1.4-ubuntu18 2020/07/17 2019/03/22
1.3-ubuntu18 2020/07/17 2019/03/22

サポートされていない Dataproc バージョン

次の Dataproc のバージョンはサポートされていません。 Dataproc は、これらのバージョンで作成されたクラスタの更新とサポートを提供していません。サポートされていないバージョンで作成されたクラスタを引き続き実行することはできますが、サポートされているバージョンで作成された新しいクラスタに置き換えることをおすすめします。

バージョン 含まれる内容 リリース日 最終更新
1.2-debian9 Apache Spark 2.2.3
Apache Hadoop 2.8.5
Apache Pig 0.16.0
Apache Hive 2.1.1
Cloud Storage コネクタ 1.6.10-hadoop2
BigQuery コネクタ 0.10.11-hadoop2
2017/07/21 2020/07/10 2020 年 7 月 10 日の時点ではサポートされていません。
1.2.102-debian9 が最終リリース バージョンです。
1.1-debian9 Apache Spark 2.0.2
Apache Hadoop 2.7.7
Apache Pig 0.16.0
Apache Hive 2.1.1
Cloud Storage コネクタ 1.6.10-hadoop2
BigQuery コネクタ 0.10.11-hadoop2
2016 年 8 月 8 日 2019/09/26 2019/10/01 ではサポートされていません。
1.1.121-debian9 は最終リリース バージョンです。
1.0-debian9 Apache Spark 1.6.2
Apache Hadoop 2.7.4
Apache Pic 0.15.0
Apache Hive 1.2.1
Cloud Storage コネクタ 1.6.10-hadoop2
BigQuery コネクタ 0.10.11-hadoop2
2016 年 2 月 22 日 2019/05/09 GA イメージの最初のリリース
2019 年 4 月 1 日にサポート対象外
1.0.119-debian9 が最終リリース バージョン
0.2 Apache Spark 1.5.2
Apache Hadoop 2.7.1
Apache Pic 0.15.0
Apache Hive 1.2.1
Cloud Storage コネクタ 1.5.1-hadoop2
BigQuery コネクタ 0.7.7-hadoop2
2015 年 11 月 18 日 2016 年 8 月 2 日 ベータイメージのセカンド リリース。
0.1 Apache Spark 1.5.0
Apache Hadoop 2.7.1
Apache Pig 0.14.0
Apache Hive 1.0
Cloud Storage コネクタ 1.5.1-hadoop2
BigQuery コネクタ 0.7.7-hadoop2
2015 年 9 月 23 日 2016 年 8 月 2 日 Dataproc ベータ版リリース。
Spark 1.5 は、Hive 1.2 に対してコンパイルされています。