クラスタの再作成と更新を行う

Dataproc では、Apache Log4j セキュリティ脆弱性の影響を受ける 1.3.95、1.4.77、1.5.53、2.0.27 より前のイメージバージョンでクラスタを作成できません。また、Dataproc イメージバージョン 0.x、1.0.x、1.1.x、1.2.x のクラスタも作成できません。可能であれば、最新のサブマイナーイメージバージョンを使用して Dataproc クラスタを作成することをおすすめします。

イメージのバージョン	log4j バージョン	カスタマーガイダンス
2.0.29、1.5.55、1.4.79 以降	log4j.2.17.1	推奨
2.0.28, 1.5.54, and 1.4.78	log4j.2.17.0	推奨
2.0.27、1.5.53、1.4.77	log4j.2.16.0	強く推奨
2.0.26、1.5.52、1.4.76 以前	旧バージョン	使用を停止

特定のイメージと log4j の更新情報については、Dataproc のリリースノートをご覧ください。

クラスタの再作成と更新の手順

gcloud コマンドラインツールまたは Dataproc API を使用して、既存のクラスタから構成をコピーし、コピーした構成を更新してから、更新した構成で新しいクラスタを作成できます。

gcloud CLI

次の手順の例は、クラスタ構成でイメージバージョン設定を更新する方法を示しています。このサンプルを変更して、別のクラスタ構成設定を更新できます。

本番環境の場合や、特定のコンポーネントとの互換性が重要な場合は、major.minor　イメージバージョンを指定することをおすすめします。サブマイナーと OS ディストリビューションは、最新の週次リリースに自動的に設定されます。

変数を設定します。

export PROJECT=project-id
export REGION=region
export OLD_CLUSTER=old-cluster-name
export NEW_CLUSTER=new-cluster-name
export NEW_IMAGE_VERSION=image-version (for example, '2.2-debian12')

既存の（古い）クラスタ構成を YAML ファイルにエクスポートします。

gcloud dataproc clusters export $OLD_CLUSTER \
    --project=$PROJECT \
    --region=$REGION > "${OLD_CLUSTER}-config.yaml"

構成を更新します。次の例では、sed　を使用してイメージのバージョンを更新しています。

sed -E "s|(^[[:blank:]]+)imageVersion: .+|\1imageVersion: ${NEW_IMAGE_VERSION}|g" "${OLD_CLUSTER}-config.yaml" | sed -E '/^[[:blank:]]+imageUri: /d' > "${NEW_CLUSTER}-config-updated.yaml"

新しい名前と更新した構成で新しいクラスタを作成します。

gcloud dataproc clusters import $NEW_CLUSTER \
    --project=$PROJECT \
    --region=$REGION \
    --source="${NEW_CLUSTER}-config-updated.yaml"

新しいクラスタでワークロードが問題なく実行されていることを確認したら、既存の（古い）クラスタを削除します。重要: この手順により、クラスタの HDFS とローカルディスクに保存されたデータはすべて削除されます。
```
gcloud dataproc clusters delete $OLD_CLUSTER \
    --project=$PROJECT \
    --region=$REGION
```

REST API

次の手順の例は、クラスタ構成でクラスタ名とイメージバージョン設定を更新する方法を示しています。サンプル変数を変更して、さまざまなクラスタ構成設定を更新できます。

変数を設定します。

export PROJECT=project-id
export REGION=region
export OLD_CLUSTER=old-cluster-name
export NEW_CLUSTER=new-cluster-name
export NEW_IMAGE_VERSION=image-version (for example, '2.2-debian12')

既存の（古い）クラスタ構成を JSON ファイルにエクスポートします。

curl -X GET -H "Authorization: Bearer $(gcloud auth print-access-token)"  "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters/${OLD_CLUSTER}?alt=json" > "${OLD_CLUSTER}-config.json"

構成を更新します。次の例では、jq を使用してクラスタ名とイメージのバージョンを更新しています。

jq ".clusterName = \"${NEW_CLUSTER}\" | .config.softwareConfig.imageVersion=\"${NEW_IMAGE_VERSION}\" | del(.config.workerConfig.imageUri) | del(.config.masterConfig.imageUri)" "${OLD_CLUSTER}-config.json" > "${NEW_CLUSTER}-config-updated.json"

更新されたクラスタ構成をインポートして、更新された構成で新しいクラスタを作成します。

curl -i -X POST  -H "Authorization: Bearer $(gcloud auth print-access-token)"  -H "Content-Type: application/json; charset=utf-8" -d "@${NEW_CLUSTER}-config-updated.json" "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters?alt=json"

新しいクラスタでワークロードが問題なく実行されることを確認したら、既存の（古い）クラスタを削除します。重要: この手順により、クラスタの HDFS とローカルディスクに保存されたデータはすべて削除されます。
```
curl -X DELETE -H "Authorization: Bearer $(gcloud auth print-access-token)" "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters/${OLD_CLUSTER}"
```

コンソール

コンソールでは、クラスタ構成をインポートしてクラスタを再作成できません。