Envoyer une tâche Spark à l'aide d'un modèle

Cette page vous explique comment utiliser un modèle Google APIs Explorer pour exécuter une tâche Spark simple sur un cluster Dataproc existant.

Pour découvrir d'autres façons d'envoyer une tâche à un cluster Dataproc, consultez les pages suivantes:

Avant de commencer

Avant de pouvoir exécuter une tâche Dataproc, vous devez créer un cluster sur une ou plusieurs machines virtuelles (VM) sur lesquelles l'exécuter. Pour créer un cluster, vous pouvez utiliser APIs Explorer, Google Cloud Console, l'outil de ligne de commande gcloud ou les guides de démarrage rapide sur l'utilisation des bibliothèques clientes Cloud pour créer un cluster.

Envoyer une tâche

Pour envoyer un exemple de tâche Apache Spark qui calcule une valeur approximative de pi, remplissez et exécutez le modèle Essayer cette API de Google APIs Explorer.

  1. Paramètres de requête :

    1. Insérez votre projectId.
    2. Spécifiez la région où se trouve votre cluster (confirmez ou remplacez "us-central1"). La région de votre cluster est répertoriée sur la page Dataproc Clusters de Cloud Console.

  2. Corps de la requête:

    1. job.placement.clusterName : nom du cluster sur lequel la tâche sera exécutée (confirmer ou remplacer "example-cluster>").
    2. job.sparkJob.args : 1 000 tâches.
    3. job.sparkJob.jarFileUris : &filet;file:///usr/lib/spark/examples/jars/spark-examples.jar". Il s'agit du chemin d'accès local au fichier sur le nœud maître du cluster Dataproc où le fichier JAR contenant le code de la tâche Spark Scala est installé.
    4. job.sparkJob.mainClass: &org.apache.spark.examples.SparkPi". Il s'agit de la méthode principale de l'application Scala de calcul d'une valeur approximative de pi.

  3. Cliquez sur EXÉCUTER. La première fois que vous exécutez le modèle d'API, vous pouvez être invité à choisir votre compte Google, à vous y connecter et à autoriser Google APIs Explorer à accéder à votre compte. Si la requête aboutit, la réponse JSON indique que la requête de soumission de tâche est en attente.

  4. Pour afficher le résultat de la tâche, ouvrez la page Tâches Dataproc dans Cloud Console, puis cliquez sur l'ID de tâche le plus récent (le plus récent). Cliquez sur l'icône WRAP "LINE" pour activer l'affichage des lignes qui dépassent de la marge droite.

    ...
Pi is roughly 3.141804711418047
...

Effectuer un nettoyage

Pour éviter que les ressources utilisées sur cette page soient facturées sur votre compte Google Cloud :

  1. Si vous n'avez pas besoin du cluster pour explorer les autres guides de démarrage rapide ou pour exécuter d'autres tâches, utilisez l'explorateur d'API, Google Cloud Console, l'outil de ligne de commande gcloud de la CLI gcloud ou les guides de démarrage rapide utilisant les bibliothèques clientes Cloud pour supprimer le cluster.

Étape suivante