Inviare un job Spark utilizzando un modello

Questa pagina mostra come utilizzare un modello Explorer API di Google per eseguire un semplice job Spark su un cluster Dataproc esistente.

Per altri modi per inviare un job a un cluster Dataproc, vedi:

Prima di iniziare

Prima di poter eseguire un job di Dataproc, devi creare un cluster di una o più macchine virtuali (VM) su cui eseguirlo. Puoi utilizzare Explorer API, la console Google Cloud, lo strumento a riga di comando gcloud di gcloud CLI o le Guide rapide all'utilizzo delle librerie client di Cloud per creare un cluster.

invia un job

Per inviare un job Apache Spark di esempio che calcola un valore approssimativo di pi, compila ed esegui il modello Prova questa API dell'Explorer API di Google.

  1. Parametri di richiesta:

    1. Inserisci il parametro projectId.
    2. Specifica la regione in cui si trova il cluster (conferma o sostituisci "us-central1"). La regione del cluster è elencata nella pagina Cluster di Dataproc nella console Google Cloud.

  2. Corpo della richiesta:

    1. job.placement.clusterName: il nome del cluster in cui verrà eseguito il job (conferma o sostituisci "cluster-esempio").
    2. job.sparkJob.args: "1000", il numero di attività del job.
    3. job.sparkJob.jarFileUris: "file:///usr/lib/spark/examples/jars/spark-examples.jar". Questo è il percorso del file locale sul nodo master del cluster Dataproc in cui è installato il jar che contiene il codice del job di Spark Scala.
    4. job.sparkJob.mainClass: "org.apache.spark.examples.SparkPi". È il metodo principale dell'applicazione Scala di calcolo del pi greco del job.

  3. Fai clic su ESEGUI. La prima volta che esegui il modello API, ti potrebbe essere chiesto di scegliere e accedere al tuo Account Google, per poi autorizzare l'Explorer API di Google ad accedere al tuo account. Se la richiesta ha esito positivo, la risposta JSON mostra che la richiesta di invio del job è in attesa.

  4. Per visualizzare l'output del job, apri la pagina Job Dataproc nella console Google Cloud, quindi fai clic sull'ID job in alto (più recente). Fai clic su "STRUMENTO RIGA" per attivare la visualizzazione delle linee che superano il margine destro.

    ...
Pi is roughly 3.141804711418047
...

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.

  1. Se non hai bisogno del cluster per esplorare le altre guide rapide o per eseguire altri job, utilizza Explorer API, la console Google Cloud, lo strumento a riga di comando gcloud di gcloud CLI o le librerie client di Cloud per eliminare il cluster.

Passaggi successivi