Mettre à jour un cluster Dataproc à l'aide d'un modèle
Cette page vous explique comment utiliser un modèle Google APIs Explorer pour mettre à jour un cluster Dataproc afin d'en modifier le nombre de nœuds de calcul. Le scaling d'un cluster en vue d'y inclure plus de nœuds de calcul est une tâche courante lorsqu'un nœud de calcul supplémentaire est nécessaire pour traiter des tâches plus volumineuses.
Pour découvrir d'autres façons de mettre à jour un cluster Dataproc, consultez les pages suivantes:
Avant de commencer
Ce guide de démarrage rapide suppose que vous avez déjà créé un cluster Dataproc. Vous pouvez utiliser l'explorateur d'API, la console Google Cloud, l'outil de ligne de commande gcloud CLI gcloud ou les guides de démarrage rapide sur l'utilisation des bibliothèques clientes Cloud pour créer un cluster.Mettre à jour un cluster
Pour mettre à jour le nombre de nœuds de calcul dans votre cluster, complétez et exécutez le modèle Essayer cette API de Google APIs Explorer.
Paramètres de requête :
- Insérez votre projectId.
- Spécifiez la région où se trouve votre cluster (confirmez ou remplacez "us-central1"). La région de votre cluster est répertoriée sur la page Clusters Dataproc de la console Google Cloud.
- Spécifiez le clusterName du cluster existant que vous mettez à jour (confirmez ou remplacez "example-cluster").
- updateMask :
"config.worker_config.num_instances". Il s'agit du chemin JSON spécifique à la ressource Cluster vers le paramètre
numInstances
à mettre à jour (consultez les instructions du corps de la requête).
Corps de la requête :
- config.workerConfig.numInstances : ("3" : le nouveau nombre de nœuds de calcul). Vous pouvez modifier cette valeur pour ajouter plus ou moins de nœuds de calcul. Par exemple, si votre cluster standard comporte le nombre de nœuds de calcul par défaut, spécifiez "3" pour ajouter un nœud de calcul. Spécifiez "4" pour en ajouter deux. Un cluster Dataproc standard doit comporter au moins deux nœuds de calcul.
Cliquez sur EXÉCUTER. La première fois que vous exécutez le modèle d'API, vous pouvez être invité à choisir votre compte Google et à vous y connecter, puis à autoriser Google APIs Explorer à accéder à votre compte. Si la requête aboutit, la réponse JSON indique que la mise à jour du cluster est en attente.
Pour vérifier que le nombre de nœuds de calcul dans le cluster a bien été mis à jour, ouvrez la page Dataproc Clusters dans la console Google Cloud et affichez la colonne Nombre total de nœuds de calcul du cluster. Vous devrez peut-être cliquer sur ACTUALISER en haut de la page pour afficher la valeur mise à jour une fois la mise à jour du cluster terminée.
Effectuer un nettoyage
Pour éviter que les ressources utilisées sur cette page soient facturées sur votre compte Google Cloud, procédez comme suit :
- Si vous n'avez pas besoin du cluster pour explorer les autres guides de démarrage rapide ou exécuter d'autres tâches, supprimez le cluster à l'aide de l'explorateur d'API, de la console Google Cloud, de l'outil de ligne de commande gcloud CLI gcloud ou des guides de démarrage rapide sur l'utilisation des bibliothèques clientes Cloud.
Étapes suivantes
Vous pouvez utiliser ce modèle de démarrage rapide pour restaurer le cluster sur sa valeur
workerConfig.numInstances
précédente.Découvrez comment écrire et exécuter une tâche Spark Scala.