Démarrage rapide de l'explorateur d'API : envoyer une tâche Spark

Cette page vous explique comment utiliser un modèle Google APIs Explorer pour exécuter une tâche Spark simple sur un cluster Dataproc existant.

Pour découvrir d'autres méthodes d'envoi de tâche à un cluster Dataproc, consultez les pages suivantes:

Avant de commencer

Avant de pouvoir exécuter une tâche Dataproc, vous devez créer le cluster d'une ou de plusieurs machines virtuelles sur lesquelles vous souhaitez l'exécuter. Vous pouvez utiliser APIs Explorer, Google Cloud Console, la commande gcloud du SDK Cloud. , ou des guides de démarrage rapide avec les bibliothèques clientes Cloud pour créer un cluster.

Envoyer une tâche

Envoyer un échantillonApache Spark tâche qui calcule une valeur approximative pourpi, remplissez et exécutez l'explorateur d'API Google.Essayer cette API .

  1. Paramètres de requête:

    1. Saisissez votre projectId.
    2. Spécifiez la région où se trouve votre cluster (confirmez ou remplacez "us-central1"). La région de votre cluster est répertoriée sur la page Dataproc Clusters dans Cloud Console.
  2. Corps de la requête:

    1. job.placement.clusterName : nom du cluster dans lequel la tâche sera exécutée (confirmez ou remplacez "example-cluster").
    2. job.sparkJob.args : "1000" (nombre de tâches).
    3. job.sparkJob.jarFileUris: "file:///usr/lib/spark/examples/jars/spark-examples.jar". Il s'agit du chemin d'accès du fichier local sur le nœud maître du cluster Dataproc où le fichier JAR contenant le code de la tâche Spark Scala est installé.
    4. job.sparkJob.mainClass: "org.apache.spark.examples.SparkPi". Il s'agit de la méthode principale utilisée pour l'application Scala de calcul d'une valeur approximative de calcul pi.
  3. Cliquez sur EXÉCUTER. La première fois que vous exécutez le modèle d'API, il vous sera peut-être demandé de vous connecter à votre compte Google et de vous connecter à ce compte, puis d'autoriser l'explorateur d'API Google à accéder à votre compte. Si la requête aboutit, la réponse JSON indique que la requête d'envoi de tâche est en attente.

  4. Pour afficher les résultats de la tâche, ouvrez la page Tâches Dataproc dans Cloud Console, puis cliquez sur l'ID de tâche (le plus récent) en haut. Cliquez sur "LINE WRAP" (ACTIVÉ) pour afficher les lignes qui dépassent de la marge de droite.

    ...
    Pi is roughly 3.141804711418047
    ...
    

Nettoyer

Pour éviter que les ressources utilisées dans ce guide démarrage rapide soient facturées sur votre compte Google Cloud :

  1. Si vous n'avez pas besoin du cluster pour explorer les autres guides de démarrage rapide ou pour exécuter d'autres tâches, utilisez le APIs Explorer , ces informationsGoogle Cloud Console , le SDK Cloud gcloud l'outil de ligne de commandeGuides de démarrage rapide avec les bibliothèques clientes Cloud pour supprimer le cluster.

Étape suivante