Dataproc Versioning

Dataproc は、イメージを使用して、有用な Google Cloud Platform コネクタと Apache Spark & Apache Hadoop コンポーネントを 1 つのパッケージにまとめ、Dataproc クラスタにデプロイできます。このイメージには、クラスタの基本オペレーティングシステム（Debian または Ubuntu）の他に、ジョブの実行に必要な Spark、Hadoop、Hive などのコアコンポーネントとオプションコンポーネントが含まれます。このイメージは、新しい改善点と機能のために定期的にアップグレードされます。Dataproc のバージョニングを使用すると、クラスタを作成するときにソフトウェアバージョンのセットを選択できます。

バージョニングの仕組み

作成されたイメージには、以下の形式のイメージバージョン番号が付けられます。

version_major.version_minor.version_sub_minor-os_distribution

現在、次の OS ディストリビューションが維持されています。

OS ディストリビューションコード	OS ディストリビューション
debian10	Debian 10
rocky8	Rocky Linux 8
ubuntu18	Ubuntu 18

以前にサポートされていた OS ディストリビューションについては、古いイメージバージョンをご覧ください。

本番環境の場合や、特定のコンポーネントとの互換性が重要な場合は、major.minor イメージバージョンを指定することをおすすめします。サブマイナーと OS ディストリビューションは、最新の週次リリースに自動的に設定されます。

バージョンの選択

新しい Dataproc クラスタを作成すると、デフォルトで最新のDebianイメージバージョンが使用されます。クラスタの作成時に Debian、Rocky Linux、Ubuntu のイメージバージョンを選択できます（Dataproc のイメージバージョンリストをご覧ください）。Debian ベースのイメージを指定する場合、OS ディストリビューションコードの接尾辞を省略できます。たとえば、2.0-debian10 イメージを選択するには「2.0」と指定します。Rocky Linux または Ubuntu ベースのイメージを選択する場合は、OS 接尾辞の使用が必要です。たとえば、2.0-ubuntu18 を指定します。

gcloud コマンド

gcloud dataproc clusters create コマンドを使用する場合、--image-version 引数を使用して新しいクラスタのイメージバージョンを指定できます。

Debian イメージの例:

gcloud dataproc clusters create cluster-name \
    --image-version=2.0 \
    --region=region

Ubuntu イメージの例:

gcloud dataproc clusters create cluster-name \
    --image-version=2.0-ubuntu18 \
    --region=region

最新のサブマイナーバージョンが使用されるように、サブマイナーバージョンの指定を省略することをおすすめします。ただし、必要に応じてサブマイナーバージョンを指定することもできます（例: 2.0.20）。

現在のバージョンは Google Cloud CLI で確認できます。

gcloud dataproc clusters describe cluster-name \
    --region=region

REST API

cluster.create API リクエストの一部として、SoftwareConfig imageVersion フィールドを指定できます。

例

POST /v1/projects/project-id/regions/us-central1/clusters/
{
  "projectId": "project-id",
  "clusterName": "example-cluster",
  "config": {
    "configBucket": "",
    "gceClusterConfig": {
      "subnetworkUri": "default",
      "zoneUri": "us-central1-b"
    },
    "masterConfig": {
      ...
      }
    },
    "workerConfig": {
      ...
      }
    },
    "softwareConfig": {
      "imageVersion": "2.0"
    }
  }
}

Console

Dataproc の [クラスタの作成] ページを開きます。[クラスターを設定] パネルが選択されています。 [バージョニング] セクションの [イメージの種類とバージョン] フィールドには、クラスタの作成時に使用されるイメージが示されます。イメージのリリース日も表示されます。最初は、デフォルトのイメージ（使用可能な最新の Debian バージョン）が選択された状態で表示されます。[変更] をクリックすると、使用可能なイメージのリストが表示されます。クラスタに使用する標準イメージまたはカスタムイメージを選択できます。

新しいバージョンを作成する場合

次の 1 つ以上を組み込むために新しいメジャー バージョンが定期的に作成されます。

次のもののメジャーリリース:
- Spark、Hadoop、その他のビッグデータコンポーネント
- Google Cloud コネクタ
Dataproc 機能に対するメジャー変更や更新

次の 1 つ以上を組み込むために新しいマイナー バージョンが定期的に作成されます。

次のもののマイナーリリースと更新:
- Spark、Hadoop、その他のビッグデータコンポーネント
- Google Cloud コネクタ
Cloud Dataproc 機能に対するマイナー変更や更新

新しいマイナーバージョンが作成されると、その Debian イメージがメジャーバージョンのデフォルトとなり、メジャーバージョンの最新リリースになります。

新しいサブマイナーバージョンが定期的に作成され、以下の 1 つ以上が組み込まれます。

イメージに含まれるコンポーネントのパッチやフィックス

イメージバージョンと Dataproc のサポート

マイナーイメージバージョンは、最初の GA（一般提供）リリースから 24 か月間サポートされます。この期間中、これらのイメージバージョンを使用するクラスタはサポートの対象になります（修正を受けるには、サポートされている最新のサブマイナーイメージバージョンを使用してクラスタを再作成してください）。サポート期間が終了すると、イメージバージョンを使用するクラスタはサポートの対象ではなくなります。

古いイメージバージョン

以前サポートされていた OS ディストリビューション

以前サポートされていた OS ディストリビューションは次のとおりです。

OS ディストリビューションコード	OS ディストリビューション	最終パッチ（サポート終了）
debian9	Debian 9	2020 年 7 月 10 日
deb8	Debian 8	2018 年 10 月 26 日

明示的な OS ディストリビューションがないイメージバージョン

2018 年 8 月 16 日より前のイメージバージョンはすべて Debian 8 でビルドされ、OS ディストリビューションコードが省略されています。次の形式で指定されています。

version_major.version_minor.version_sub_minor

0.1 と 0.2

一般提供になった Dataproc バージョン 1.0 より前にアルファ版またはベータ版としてリリースされたイメージバージョンは、Dataproc サポートポリシーの対象になりません。