Google Dataproc は、イメージ バージョンを使用してオペレーティング システム、ビッグデータ コンポーネント、Google Cloud Platform コネクタを、クラスタにデプロイされる 1 つのパッケージにバンドルします。詳細は、Dataproc のバージョニングをご覧ください。
デフォルトの Dataproc イメージ バージョン
Dataproc は、デフォルト イメージ バージョンを、一般提供開始から 1 か月後に、一般提供されている最新の Debian ベースの Dataproc イメージ バージョンに更新します。
サポート対象の Dataproc バージョン
Debian イメージ
Dataproc クラスタでは、次の Debian 10 ベースのイメージ バージョンがサポートされています。リリース以降にバージョンに加えられたサブマイナー パッチを含める場合、新しいクラスタが作成されるのでご注意ください。
| バージョン | 最終更新 | リリース日 | サポート期限 | 注 |
|---|---|---|---|---|
| 2.0-debian10 | 2022/08/13 | 2021/01/22 | 2023/06/30 | 一般提供リリース。 |
| 1.5-debian10 | 2022/08/13 | 2020/03/25 | 2023/03/31 | 一般提供リリース。 |
Ubuntu イメージ
Dataproc クラスタでは、次の Ubuntu 18.04 LTS ベースのイメージ バージョンがサポートされています。リリース以降にバージョンに加えられたサブマイナー パッチを含める場合、新しいクラスタが作成されるのでご注意ください。
| バージョン | 最終更新 | リリース日 | サポート期限 | 注 |
|---|---|---|---|---|
| 2.0-ubuntu18 | 2022/08/13 | 2021/01/22 | 2023/06/30 | 一般提供リリース。 |
| 1.5-ubuntu18 | 2022/08/13 | 2020/03/25 | 2023/03/31 | 一般提供リリース。 |
Rocky Linux イメージ
Dataproc クラスタでは、次の Rocky Linux ベースのイメージ バージョンがサポートされています。リリース以降にバージョンに加えられたサブマイナー パッチを含める場合、新しいクラスタが作成されるのでご注意ください。
| バージョン | 最終更新 | リリース日 | サポート期限 | メモ |
|---|---|---|---|---|
| 2.0-rocky8 | 2022/08/13 | 2022/02/18 | 2023/06/30 | 一般提供リリース。 |
| 1.5-rocky8 | 2022/08/13 | 2022/02/18 | 2023/03/31 | 一般提供リリース。 |
サポート対象ではない Dataproc バージョン
次の Dataproc のバージョンはサポートされていません。 Dataproc は、これらのバージョンで作成されたクラスタの更新とサポートを提供していません。サポートされていないバージョンで作成されたクラスタを引き続き実行することはできますが、サポートされているバージョンで作成された新しいクラスタに置き換えることをおすすめします。
| バージョン | 含まれる内容 | リリース日 | 最終更新 | メモ |
|---|---|---|---|---|
2.0-centos8 |
Apache Spark 3.1.2 Apache Hadoop 3.2.2 Apache Pig 0.18.0-SNAPSHOT Apache Hive 3.1.2 Cloud Storage コネクタ 2.2.4-hadoop3 Python 3.8 Scala 2.12.14 Zookeeper 3.4.14 |
2021/03/16 | 2022/02/01 | 2022 年 2 月 1 日の時点ではサポートされていません。 2.0.30-centos8 が最終リリース バージョンでした。 |
1.5-centos8 |
Apache Spark 2.4.8 Apache Hadoop 2.10.1 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage コネクタ 2.1.5-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14 |
2020/12/14 | 2022/02/01 | 2022 年 2 月 1 日の時点ではサポートされていません。 1.5.56-centos8 が最終リリース バージョンでした。 |
1.4-debian10/-ubuntu18 |
Apache Spark 2.4.8 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage コネクタ 1.9.18-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.14 |
2019/03/22 | 2022/02/01 | 2022 年 2 月 1 日の時点ではサポートされていません。 1.4.80-debian10/-ubuntu18 が最終リリース バージョンでした。 |
1.3-debian10/-ubuntu18 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage コネクタ 1.9.18-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2018 年 6 月 29 日 | 2021/12/22 | 2021 年 8 月 1 日の時点ではサポートされていません。 1.3.95-debian10/-ubuntu18 が最終リリース バージョンであり、log4j2 の脆弱性については対応済みです。注: これよりも前にリリースされたバージョンは脆弱であるため、アップグレードする必要があります。 |
1.4-debian9 |
Apache Spark 2.4.5 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage コネクタ 1.9.17-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.13 |
2019/03/22 | 2020/07/10 | 2020 年 7 月 10 日にサポート対象外になりました。 1.4.33-debian9 は最終リリース バージョンでした。 |
1.3-debian9 |
Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage コネクタ 1.9.17-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2018 年 6 月 29 日 | 2020/07/10 | 2020 年 7 月 10 日にサポート対象外になりました。 1.3.62-debian9 は最終リリース バージョンでした。 |
1.2-debian9 |
Apache Spark 2.2.3 Apache Hadoop 2.8.5 Apache Pig 0.16.0 Apache Hive 2.1.1 Cloud Storage コネクタ 1.6.10-hadoop2 BigQuery コネクタ 0.10.11-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13 |
2017/07/21 | 2020/07/10 | 2020 年 7 月 10 日にサポート対象外になりました。 1.2.102-debian9 が最終リリース バージョンでした。 |
1.1-debian9 |
Apache Spark 2.0.2 Apache Hadoop 2.7.7 Apache Pig 0.16.0 Apache Hive 2.1.1 Cloud Storage コネクタ 1.6.10-hadoop2 BigQuery コネクタ 0.10.11-hadoop2 |
2016/08/08 | 2019/09/26 | 2019 年 10 月 1 日の時点ではサポートされていません。 1.1.121-debian9 が最終リリース バージョンです。 |
1.0-debian9 |
Apache Spark 1.6.2 Apache Hadoop 2.7.4 Apache Pig 0.15.0 Apache Hive 1.2.1 Cloud Storage コネクタ 1.6.10-hadoop2 BigQuery コネクタ 0.10.11-hadoop2 |
2016/02/22 | 2019/05/09 | GA イメージの最初のリリース 2019 年 4 月 1 日にサポート対象外 1.0.119-debian9 が最終リリース バージョン |
0.2 |
Apache Spark 1.5.2 Apache Hadoop 2.7.1 Apache Pig 0.15.0 Apache Hive 1.2.1 Cloud Storage コネクタ 1.5.1-hadoop2 BigQuery コネクタ 0.7.7-hadoop2 |
2015 年 11 月 18 日 | 2016 年 8 月 2 日 | ベータイメージのセカンド リリース。 |
0.1 |
Apache Spark 1.5.0 Apache Hadoop 2.7.1 Apache Pig 0.14.10 Apache Hive 1.0 Cloud Storage コネクタ 1.5.1-hadoop2 BigQuery コネクタ 0.7.7-hadoop2 |
2015 年 9 月 23 日 | 2016 年 8 月 2 日 | Dataproc ベータ版リリース。 Spark 1.5 は、Hive 1.2 に対してコンパイルされています。 |