Google Dataproc は、イメージ バージョンを使用して、オペレーティング システム、ビッグデータ コンポーネント、Google Cloud Platform コネクタを、クラスタにデプロイされた 1 つのパッケージにバンドルします。詳細は、Dataproc のバージョニングをご覧ください。
サポート対象の Dataproc バージョン
Debian イメージ
Dataproc クラスタでは、次の Debian 10 ベースのイメージ バージョンがサポートされています。リリース以降にバージョンに加えられたサブマイナー パッチを含める場合、新しいクラスタが作成されるのでご注意ください。
Debian ベースのクラスタを作成する場合、イメージ バージョンの OS ディストリビューション コード接尾辞を省略できます。たとえば、| バージョン | 最終更新 | リリース日 | サポート期限 | 注 |
|---|---|---|---|---|
| 2.0-debian10 | 2021/02/16 | 2021/01/22 | 2023/02 | 一般提供リリース。 |
| 1.5-debian10 | 2021/02/16 | 2020/03/25 | 2022/04 | 一般提供リリース。 |
| 1.4-debian10 | 2021/02/16 | 2019/03/22 | 2021/08 | 一般提供リリース。 |
| 1.3-debian10 | 2021/02/16 | 2018/06/29 | 2021/03 | 一般提供リリース。 |
Ubuntu イメージ
Dataproc クラスタでは、次の Ubuntu 18.04 LTS ベースのイメージ バージョンがサポートされています。リリース以降にバージョンに加えられたサブマイナー パッチを含める場合、新しいクラスタが作成されるのでご注意ください。
| バージョン | 最終更新 | リリース日 | サポート期限 | 注 |
|---|---|---|---|---|
| 2.0-ubuntu18 | 2021/02/16 | 2021/01/22 | 2023/02 | 一般提供リリース。 |
| 1.5-ubuntu18 | 2021/02/16 | 2020/03/25 | 2022/04 | 一般提供リリース。 |
| 1.4-ubuntu18 | 2021/02/16 | 2019/03/22 | 2021/08 | 一般提供リリース。 |
| 1.3-ubuntu18 | 2021/02/16 | 2019/03/22 | 2021/03 | 一般提供リリース。 |
CentOS イメージ
Dataproc クラスタでは、次の CentOS 8 ベースのイメージ バージョンがサポートされています。リリース以降にバージョンに加えられたサブマイナー パッチを含める場合、新しいクラスタが作成されるのでご注意ください。
| バージョン | 最終更新 | リリース日 | サポート期限 | 注 |
|---|---|---|---|---|
| 1.5-centos8 | 2021/02/16 | 2020/12/14 | 2022/04 | 一般提供リリース。 |
サポート対象ではない Dataproc バージョン
次の Dataproc のバージョンはサポートされていません。 Dataproc は、これらのバージョンで作成されたクラスタの更新とサポートを提供していません。サポートされていないバージョンで作成されたクラスタを引き続き実行することはできますが、サポートされているバージョンで作成された新しいクラスタに置き換えることをおすすめします。
| バージョン | 含まれる内容 | リリース日 | 最終更新 | 注 |
|---|---|---|---|---|
1.4-debian9 |
Apache Spark 2.4.5 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage コネクタ 1.9.17-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.13 |
2019/03/22 | 2020/07/10 | 2020 年 7 月 10 日にサポート対象外になりました。 1.4.33-debian9 は最終リリース バージョンでした。 |
1.3-debian9 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage コネクタ 1.9.17-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2018 年 6 月 29 日 | 2020/07/10 | 2020 年 7 月 10 日にサポート対象外になりました。 1.3.62-debian9 は最終リリース バージョンでした。 |
1.2-debian9 |
Apache Spark 2.2.3 Apache Hadoop 2.8.5 Apache Pig 0.16.0 Apache Hive 2.1.1 Cloud Storage コネクタ 1.6.10-hadoop2 BigQuery コネクタ 0.10.11-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2017/07/21 | 2020/07/10 | 2020 年 7 月 10 日にサポート対象外になりました。 1.2.102-debian9 が最終リリース バージョンでした。 |
1.1-debian9 |
Apache Spark 2.0.2 Apache Hadoop 2.7.7 Apache Pig 0.16.0 Apache Hive 2.1.1 Cloud Storage コネクタ 1.6.10-hadoop2 BigQuery コネクタ 0.10.11-hadoop2 |
2016/08/08 | 2019/09/26 | 2019 年 10 月 1 日の時点ではサポートされていません。 1.1.121-debian9 が最終リリース バージョンです。 |
1.0-debian9 |
Apache Spark 1.6.2 Apache Hadoop 2.7.4 Apache Pig 0.15.0 Apache Hive 1.2.1 Cloud Storage コネクタ 1.6.10-hadoop2 BigQuery コネクタ 0.10.11-hadoop2 |
2016/02/22 | 2019/05/09 | GA イメージの最初のリリース 2019 年 4 月 1 日にサポート対象外 1.0.119-debian9 が最終リリース バージョン |
0.2 |
Apache Spark 1.5.2 Apache Hadoop 2.7.1 Apache Pig 0.15.0 Apache Hive 1.2.1 Cloud Storage コネクタ 1.5.1-hadoop2 BigQuery コネクタ 0.7.7-hadoop2 |
2015 年 11 月 18 日 | 2016 年 8 月 2 日 | ベータイメージのセカンド リリース。 |
0.1 |
Apache Spark 1.5.0 Apache Hadoop 2.7.1 Apache Pig 0.14.10 Apache Hive 1.0 Cloud Storage コネクタ 1.5.1-hadoop2 BigQuery コネクタ 0.7.7-hadoop2 |
2015 年 9 月 23 日 | 2016 年 8 月 2 日 | Dataproc ベータ版リリース。 Spark 1.5 は、Hive 1.2 に対してコンパイルされています。 |