Dataproc クラスタのイメージ バージョン リスト

Google Dataproc は、Ubuntu、Debian、Rocky Linux のイメージ バージョンを使用して、オペレーティング システム、ビッグデータ コンポーネント、Google Cloud Platform コネクタを、クラスタにデプロイされる 1 つのパッケージにバンドルします。詳細は、Dataproc のバージョニングをご覧ください。

• Dataproc イメージ バージョンは、最初のリリースから 24 か月間サポートされます。
• Dataproc イメージ バージョンは、サポート終了日から 24 か月間使用できます。

デフォルトの Dataproc イメージ バージョン

Dataproc は、デフォルト イメージ バージョンを、一般提供（GA）リリース日の後に、一般提供されている最新の Debian ベースの Dataproc に更新します。

サポートされている Dataproc イメージ バージョン

Dataproc は、Apache Log4j のセキュリティ脆弱性の影響を受ける、1.3.95、1.4.77、1.5.53、2.0.27 より前のイメージ バージョンでクラスタを作成することができません。また、Dataproc イメージ バージョン 0.x、1.0.x、1.1.x、1.2.x のクラスタも作成できません。可能であれば、最新のサブマイナー イメージ バージョンを使用して Dataproc クラスタを作成することをおすすめします。 特定のイメージと log4j の更新情報については、Dataproc のリリースノートをご覧ください。

Debian イメージ

Dataproc クラスタでは、次の Debian ベースのイメージ バージョンがサポートされています。リリース以降にバージョンに加えられたサブマイナー パッチを含める場合、新しいクラスタが作成されるのでご注意ください。

Debian ベースのクラスタを作成する場合、イメージ バージョンの OS ディストリビューション コード接尾辞を省略できます。たとえば、2.0-debian10 イメージを選択するには 2.0 と指定します。Rocky Linux のイメージや Ubuntu ベースのイメージを選択する場合は、OS 接尾辞の使用が必要です。たとえば、「2.0-ubuntu18」と指定します。イメージの選択例については、バージョンの選択をご覧ください。

バージョン	最終更新	リリース日	サポート期限	有効期限:	メモ
2.2-debian12	2024/09/21	2023/12/08	2025/12/31	2027/12/31	一般提供リリース。 2024 年 9 月 13 日、イメージ バージョン 2.2 がデフォルトのイメージ バージョンになります。
2.1-debian11	2024/09/21	2022/12/12	2024/12/31	2026/12/31	一般提供リリース。
2.0-debian10	2024/09/21	2021/01/22	2024/07/31	2026/07/31	一般提供リリース。

Ubuntu イメージ

Dataproc クラスタでは、次の Ubuntu LTS ベースのイメージ バージョンがサポートされています。リリース以降にバージョンに加えられたサブマイナー パッチを含める場合、新しいクラスタが作成されるのでご注意ください。

バージョン	最終更新	リリース日	サポート期限	有効期限:	メモ
2.2-ubuntu22	2024/09/21	2023/12/08	2025/12/31	2027/12/31	一般提供リリース。
2.1-ubuntu20	2024/09/21	2022/12/12	2024/12/31	2026/12/31	一般提供リリース。
2.0-ubuntu18	2024/09/21	2021/01/22	2024/07/31	2026/07/31	一般提供リリース。

Rocky Linux イメージ

Dataproc クラスタでは、次の Rocky Linux ベースのイメージ バージョンがサポートされています。リリース以降にバージョンに加えられたサブマイナー パッチを含める場合、新しいクラスタが作成されるのでご注意ください。

バージョン	最終更新	リリース日	サポート期限	有効期限:	メモ
2.2-rocky9	2024/09/21	2023/12/08	2025/12/31	2027/12/31	一般提供リリース。
2.1-rocky8	2024/09/21	2022/12/12	2024/12/31	2026/12/31	一般提供リリース。
2.0-rocky8	2024/09/21	2022/02/18	2024/07/31	2026/07/31	一般提供リリース。

サポートされていない Dataproc イメージ バージョン

こちらのリンクをクリックしてスクリプトを実行し、プロジェクトまたは組織で、サポートされていない Dataproc イメージを使用しているかどうかを確認できます。

次の Dataproc のバージョンはサポートされていません。 Dataproc は、これらのバージョンで作成されたクラスタの更新とサポートを提供していません。サポートされていないバージョンで作成されたクラスタを引き続き実行することはできますが、サポートされているバージョンで作成された新しいクラスタに置き換えることをおすすめします。

バージョン	含める	リリース日	最終更新	メモ
1.5-debian10/-ubuntu18/-rocky8	Apache Spark 2.4.8 Apache Hadoop 2.10.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage コネクタ 2.1.9-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14	2020/03/25:debian10/ubuntu18 2022/02/18:rocky8	2023/04/28	2023 年 4 月 28 日の時点ではサポートされていません。 1.5.89-debian10/-ubuntu18/-rocky8 が最終リリース バージョンでした。
2.0-centos8	Apache Spark 3.1.2 Apache Hadoop 3.2.2 Apache Pig 0.18.0-SNAPSHOT Apache Hive 3.1.2 Cloud Storage コネクタ 2.2.4-hadoop3 Python 3.8 Scala 2.12.14 Zookeeper 3.4.14	2021/03/16	2022/02/01	2022 年 2 月 1 日の時点ではサポートされていません。 2.0.30-centos8 が最終リリース バージョンでした。
1.5-centos8	Apache Spark 2.4.8 Apache Hadoop 2.10.1 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage コネクタ 2.1.5-hadoop2 Python 3.7 Scala 2.12.10 Zookeeper 3.4.14	2020/12/14	2022/02/01	2022 年 2 月 1 日の時点ではサポートされていません。 1.5.56-centos8 が最終リリース バージョンでした。
1.4-debian10/-ubuntu18	Apache Spark 2.4.8 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage コネクタ 1.9.18-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.14	2019 年 3 月 22 日	2022/02/01	2022 年 2 月 1 日の時点ではサポートされていません。 1.4.80-debian10/-ubuntu18 が最終リリース バージョンでした。
1.3-debian10/-ubuntu18	Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage コネクタ 1.9.18-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13	2018 年 6 月 29 日	2021/12/22	2021 年 8 月 1 日の時点ではサポートされていません。 1.3.95-debian10/-ubuntu18 が最終リリース バージョンであり、log4j2 の脆弱性については対応済みです。注: これよりも前にリリースされたバージョンは脆弱であるため、アップグレードする必要があります。
1.4-debian9	Apache Spark 2.4.5 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage コネクタ 1.9.17-hadoop2 Python 3.6 Scala 2.11.12 Zookeeper 3.4.13	2019 年 3 月 22 日	2020/07/10	2020 年 7 月 10 日にサポート対象外になりました。 1.4.33-debian9 は最終リリース バージョンでした。
1.3-debian9	Apache Spark 2.3.4 Apache Hadoop 2.9.2 Apache Pig 0.17.0 Apache Hive 2.3.7 Cloud Storage コネクタ 1.9.17-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13	2018 年 6 月 29 日	2020/07/10	2020 年 7 月 10 日にサポート対象外になりました。 1.3.62-debian9 は最終リリース バージョンでした。
1.2-debian9	Apache Spark 2.2.3 Apache Hadoop 2.8.5 Apache Pig 0.16.0 Apache Hive 2.1.1 Cloud Storage コネクタ 1.6.10-hadoop2 BigQuery コネクタ 0.10.11-hadoop2 Python 2.7 Scala 2.11.8 Zookeeper 3.4.13	2017/07/21	2020/07/10	2020 年 7 月 10 日にサポート対象外になりました。 1.2.102-debian9 が最終リリース バージョンでした。
1.1-debian9	Apache Spark 2.0.2 Apache Hadoop 2.7.7 Apache Pig 0.16.0 Apache Hive 2.1.1 Cloud Storage コネクタ 1.6.10-hadoop2 BigQuery コネクタ 0.10.11-hadoop2	2016 年 8 月 8 日	2019/09/26	2019 年 10 月 1 日の時点ではサポートされていません。 1.1.121-debian9 が最終リリース バージョンです。
1.0-debian9	Apache Spark 1.6.2 Apache Hadoop 2.7.4 Apache Pig 0.15.0 Apache Hive 1.2.1 Cloud Storage コネクタ 1.6.10-hadoop2 BigQuery コネクタ 0.10.11-hadoop2	2016 年 2 月 22 日	2019/05/09	GA イメージの最初のリリース 2019 年 4 月 1 日にサポート対象外 1.0.119-debian9 が最終リリース バージョン
0.2	Apache Spark 1.5.2 Apache Hadoop 2.7.1 Apache Pig 0.15.0 Apache Hive 1.2.1 Cloud Storage コネクタ 1.5.1-hadoop2 BigQuery コネクタ 0.7.7-hadoop2	2015 年 11 月 18 日	2016 年 8 月 2 日	ベータイメージのセカンド リリース。
0.1	Apache Spark 1.5.0 Apache Hadoop 2.7.1 Apache Pig 0.14.10 Apache Hive 1.0 Cloud Storage コネクタ 1.5.1-hadoop2 BigQuery コネクタ 0.7.7-hadoop2	2015 年 9 月 23 日	2016 年 8 月 2 日	Dataproc ベータ版リリース。 Spark 1.5 は、Hive 1.2 に対してコンパイルされています。