gcloud
Créer un cluster Dataproc à l'aide de la CLI gcloud
Cette page explique comment utiliser l'outil de ligne de commande gcloud de la CLI Google Cloud pour créer un cluster Google Cloud Dataproc, exécuter une tâche Apache Spark simple dans le cluster, puis modifier le nombre de nœuds de calcul dans le cluster.
Vous pouvez découvrir comment effectuer des tâches identiques ou similaires sur la page Démarrage rapide avec l'explorateur d'API, à l'aide de Google Cloud Console sur la page Démarrage rapide avec la console et à l'aide des bibliothèques clientes sur la page Guides de démarrage rapide avec les bibliothèques clientes Cloud.
Avant de commencer
- Connectez-vous à votre compte Google Cloud. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits gratuits pour exécuter, tester et déployer des charges de travail.
-
Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.
-
Vérifiez que la facturation est activée pour votre projet Google Cloud.
-
Activez l'API Dataproc
-
Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.
-
Vérifiez que la facturation est activée pour votre projet Google Cloud.
-
Activez l'API Dataproc
Créer un cluster
Exécutez la commande suivante pour créer un cluster nommé example-cluster
.
Pour en savoir plus sur la sélection d'une région, consultez la page Régions et zones disponibles (vous pouvez également exécuter la commande gcloud compute regions list
pour afficher la liste des régions disponibles).
Consultez également la page Points de terminaison régionaux pour en savoir plus sur la différence entre les points de terminaison global
et régionaux.
gcloud dataproc clusters create example-cluster --region=region
La création du cluster est confirmée dans le résultat de la commande :
... Waiting for cluster creation operation...done. Created [... example-cluster]
Envoyer une tâche
Exécutez la commande suivante pour envoyer un exemple de tâche Spark qui calcule une valeur approximative de pi :
gcloud dataproc jobs submit spark --cluster example-cluster \ --region=region \ --class org.apache.spark.examples.SparkPi \ --jars file:///usr/lib/spark/examples/jars/spark-examples.jar -- 1000
Cette commande spécifie les éléments suivants :
- que vous souhaitez exécuter une tâche
spark
sur le clusterexample-cluster
dans la région spécifiée - La classe (
class
) contenant la méthode principale utilisée pour l'application de calcul de pi de la tâche - La zone du fichier JAR contenant le code de votre tâche.
- Tous les paramètres que vous souhaitez transmettre à la tâche. Dans ce cas, le nombre de tâches, c'est-à-dire
1000
.
L'exécution de la tâche ainsi que le résultat s'affichent dans la fenêtre de terminal :
Waiting for job output... ... Pi is roughly 3.14118528 ... Job finished successfully.
Mettre à jour un cluster
Pour définir le nombre de nœuds de calcul du cluster sur 5, exécutez la commande suivante :
gcloud dataproc clusters update example-cluster \ --region=region \ --num-workers 5
Les détails mis à jour de votre cluster sont affichés dans le résultat de la commande :
workerConfig: ... instanceNames: - example-cluster-w-0 - example-cluster-w-1 - example-cluster-w-2 - example-cluster-w-3 - example-cluster-w-4 numInstances: 5 statusHistory: ... - detail: Add 3 workers.
Vous pouvez utiliser la même commande pour réduire le nombre de nœuds de calcul à la valeur d'origine :
gcloud dataproc clusters update example-cluster \ --region=region \ --num-workers 2
Effectuer un nettoyage
Pour éviter que les ressources utilisées sur cette page soient facturées sur votre compte Google Cloud :
- Exécutez
clusters delete
pour supprimer votre exemple de cluster.gcloud dataproc clusters delete example-cluster \ --region=region
Vous êtes invité à confirmer la suppression du cluster. Saisissezy
pour terminer la suppression.
Étapes suivantes
- Découvrez comment écrire et exécuter une tâche Scala.