Recréer et mettre à jour un cluster

Dataproc empêche la création de clusters avec des versions d'image antérieures aux versions 1.3.95, 1.4.77, 1.5.53 et 2.0.27, qui étaient affectées par des failles de sécurité dans Apache Log4j. Dataproc empêche également la création de clusters pour les versions d'image Dataproc 0.x, 1.0.x, 1.1.x et 1.2.x. Dataproc recommande de créer, dans la mesure du possible, des clusters Dataproc avec les dernières versions d'images de correction.

Version de l'image	Version log4j	Conseils aux clients
2.0.29, 1.5.55 et 1.4.79, ou versions ultérieures, de chaque	log4j.2.17.1	Conseillé
2.0.28, 1.5.54 et 1.4.78	log4j.2.17.0	Conseillé
2.0.27, 1.5.53 et 1.4.77	log4j.2.16.0	Fortement recommandé
2.0.26, 1.5.52 et 1.4.76, ou version antérieure de chaque	Ancienne version	Arrêter l'utilisation

Consultez les notes de version de Dataproc pour obtenir des informations spécifiques sur les images et les mises à jour de log4j.

Étapes pour recréer et mettre à jour un cluster

Vous pouvez utiliser l'outil de ligne de commande gcloud ou l'API Dataproc pour copier la configuration d'un cluster existant, mettre à jour la configuration copiée, puis créer un cluster avec la configuration mise à jour.

gcloud CLI

Les exemples d'instructions montrent comment mettre à jour le paramètre de version d'image dans une configuration de cluster. Vous pouvez modifier l'exemple pour mettre à jour différents paramètres de configuration du cluster.

Il est recommandé de spécifier la version d'image major.minor pour les environnements de production ou lorsqu'il est important d'assurer la compatibilité avec des versions de composants spécifiques. Les distributions de correction et de système d'exploitation sont automatiquement définies sur la dernière version hebdomadaire.

Définissez les variables.

export PROJECT=project-id
export REGION=region
export OLD_CLUSTER=old-cluster-name
export NEW_CLUSTER=new-cluster-name
export NEW_IMAGE_VERSION=image-version (for example, '2.2-debian12')

Exportez la configuration de cluster existante (ancienne) vers un fichier YAML.

gcloud dataproc clusters export $OLD_CLUSTER \
    --project=$PROJECT \
    --region=$REGION > "${OLD_CLUSTER}-config.yaml"

Mettez à jour la configuration. L'exemple suivant utilise sed pour mettre à jour la version de l'image.

sed -E "s|(^[[:blank:]]+)imageVersion: .+|\1imageVersion: ${NEW_IMAGE_VERSION}|g" "${OLD_CLUSTER}-config.yaml" | sed -E '/^[[:blank:]]+imageUri: /d' > "${NEW_CLUSTER}-config-updated.yaml"

Créez un cluster avec un nouveau nom et la configuration mise à jour.

gcloud dataproc clusters import $NEW_CLUSTER \
    --project=$PROJECT \
    --region=$REGION \
    --source="${NEW_CLUSTER}-config-updated.yaml"

Après avoir vérifié que vos charges de travail s'exécutent sans problème dans le nouveau cluster, supprimez le cluster existant (l'ancien). IMPORTANT : Cette étape supprime toutes les données stockées dans HDFS et sur le disque local de votre cluster.
```
gcloud dataproc clusters delete $OLD_CLUSTER \
    --project=$PROJECT \
    --region=$REGION
```

API REST

Les exemples d'instructions montrent comment mettre à jour le nom du cluster et les paramètres de version de l'image dans une configuration de cluster. Vous pouvez modifier les exemples de variables pour mettre à jour différents paramètres de configuration du cluster.

Définissez les variables.

export PROJECT=project-id
export REGION=region
export OLD_CLUSTER=old-cluster-name
export NEW_CLUSTER=new-cluster-name
export NEW_IMAGE_VERSION=image-version (for example, '2.2-debian12')

Exportez la configuration de cluster existante (ancienne) vers un fichier JSON.

curl -X GET -H "Authorization: Bearer $(gcloud auth print-access-token)"  "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters/${OLD_CLUSTER}?alt=json" > "${OLD_CLUSTER}-config.json"

Mettez à jour la configuration. L'exemple suivant utilise jq pour mettre à jour le nom du cluster et la version de l'image.

jq ".clusterName = \"${NEW_CLUSTER}\" | .config.softwareConfig.imageVersion=\"${NEW_IMAGE_VERSION}\" | del(.config.workerConfig.imageUri) | del(.config.masterConfig.imageUri)" "${OLD_CLUSTER}-config.json" > "${NEW_CLUSTER}-config-updated.json"

Importez la configuration de cluster mise à jour pour créer un cluster avec la configuration modifiée.

curl -i -X POST  -H "Authorization: Bearer $(gcloud auth print-access-token)"  -H "Content-Type: application/json; charset=utf-8" -d "@${NEW_CLUSTER}-config-updated.json" "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters?alt=json"

Après avoir vérifié que vos charges de travail s'exécutent sans problème dans le nouveau cluster, supprimez le cluster existant (l'ancien). IMPORTANT:Cette étape supprime toutes les données stockées dans HDFS et sur le disque local du cluster.
```
curl -X DELETE -H "Authorization: Bearer $(gcloud auth print-access-token)" "https://dataproc.googleapis.com/v1/projects/${PROJECT}/regions/${REGION}/clusters/${OLD_CLUSTER}"
```

Console

La console ne permet pas de recréer un cluster en important une configuration de cluster.