Questo tutorial illustra diversi modi per creare e inviare un job Spark Scala a un cluster Dataproc, incluso come:
- scrivi e compila un'app Spark Scala "Hello World" su una macchina locale dalla riga di comando utilizzando lo strumento Scala REPL (Read-Evaluation-Print-Loop o interprete interattivo) o lo strumento di creazione SBT
- pacchetto ha compilato le classi Scala in un file jar con un manifest
- invia il jar Scala a un job Spark eseguito sul cluster Dataproc
- esaminare l'output del job Scala dalla console Google Cloud
Questo tutorial ti mostra anche come:
scrivi ed esegui un job di mapreduce di Spark Scala "WordCount" direttamente su un cluster Dataproc utilizzando il
spark-shell
REPLeseguire esempi di Apache Spark e Hadoop preinstallati su un cluster
Configura un progetto Google Cloud Platform
Se non lo hai già fatto:
Scrivi e compila il codice Scala localmente
Un semplice esercizio per questo tutorial è scrivere un'app Scala "Hello World" utilizzando Scala REPL o l'interfaccia a riga di comando SBT in locale sulla tua macchina di sviluppo.
Usa Scala
- Scarica i programmi binari Scala dalla pagina Installazione di Scala
Decomprimi il file, imposta la variabile di ambiente
SCALA_HOME
e aggiungila al tuo percorso, come mostrato nelle istruzioni di Installazione scalabile. Ad esempio:export SCALA_HOME=/usr/local/share/scala export PATH=$PATH:$SCALA_HOME/
Avvia REPL Scala
$ scala Welcome to Scala version ... Type in expressions to have them evaluated. Type :help for more information. scala>
Copia e incolla il codice
HelloWorld
in Scala REPLobject HelloWorld { def main(args: Array[String]): Unit = { println("Hello, world!") } }
Salva
HelloWorld.scala
ed esci dalla REPLscala> :save HelloWorld.scala scala> :q
Compila con
scalac
$ scalac HelloWorld.scala
Elenca i
.class
file compilati$ ls HelloWorld*.class HelloWorld$.class HelloWorld.class
Usa SBT
Crea un progetto "HelloWorld", come mostrato di seguito
$ mkdir hello $ cd hello $ echo \ 'object HelloWorld {def main(args: Array[String]) = println("Hello, world!")}' > \ HelloWorld.scala
Crea un file di configurazione
sbt.build
per impostareartifactName
(il nome del file jar che verrà generato di seguito) su "HelloWorld.jar" (vedi Modificare gli artefatti predefiniti)echo \ 'artifactName := { (sv: ScalaVersion, module: ModuleID, artifact: Artifact) => "HelloWorld.jar" }' > \ build.sbt
Avvia SBT ed esegui il codice
$ sbt [info] Set current project to hello ... > run ... Compiling 1 Scala source to .../hello/target/scala-.../classes... ... Running HelloWorld Hello, world! [success] Total time: 3 s ...
Inserisci il codice in un file jar con un manifest che specifica il punto di ingresso della classe principale (
HelloWorld
), quindi esci> package ... Packaging .../hello/target/scala-.../HelloWorld.jar ... ... Done packaging. [success] Total time: ... > exit
Crea un barattolo
Crea un file jar
con SBT
o utilizzando il comando jar.
Crea un jar con SBT
Il comando SBT package crea un file jar (vedi Utilizzare SBT).
Crea un jar manualmente
- Cambia la directory (
cd
) nella directory che contiene i fileHelloWorld*.class
compilati, quindi esegui il comando seguente per pacchettizzare i file della classe in un jar con un manifest che specifica il punto di ingresso della classe principale (HelloWorld
).$ jar cvfe HelloWorld.jar HelloWorld HelloWorld*.class added manifest adding: HelloWorld$.class(in = 637) (out= 403)(deflated 36%) adding: HelloWorld.class(in = 586) (out= 482)(deflated 17%)
Copia jar in Cloud Storage
- Utilizza il comando
gsutil
per copiare il jar in un bucket Cloud Storage nel tuo progetto
$ gsutil cp HelloWorld.jar gs://<bucket-name>/ Copying file://HelloWorld.jar [Content-Type=application/java-archive]... Uploading gs://bucket-name/HelloWorld.jar: 1.46 KiB/1.46 KiB
Inviare il jar a un job Dataproc Spark
Utilizza la console Google Cloud per inviare il file jar al tuo job Dataproc Spark. Compila i campi della pagina Invia un job come segue:
- Cluster: seleziona il nome del cluster dall'elenco dei cluster
- Tipo di job: Spark
Classe o jar principale: specifica il percorso URI Cloud Storage del tuo jar HelloWorld (
gs://your-bucket-name/HelloWorld.jar
).Se il tuo jar non include un file manifest che specifica il punto di ingresso del tuo codice ("Classe principale: HelloWorld"), il campo "Classe o jar principale" deve indicare il nome della classe principale ("HelloWorld") e dovresti compilare il campo "File jar" con il percorso URI del tuo file jar (
gs://your-bucket-name/HelloWorld.jar
).
Fai clic su Invia per avviare il job. Una volta avviato, il job viene aggiunto all'elenco dei job.
Fai clic sull'ID job per aprire la pagina Job, in cui puoi visualizzare l'output del driver del job.
Scrivi ed esegui codice Spark Scala utilizzando la REPL spark-shell
del cluster
Potresti voler sviluppare app Scala direttamente sul tuo cluster Dataproc. Hadoop e Spark sono preinstallati nei cluster Dataproc e sono configurati con il connettore Cloud Storage, che consente al tuo codice di leggere e scrivere dati direttamente da e su Cloud Storage.
Questo esempio mostra come connetterti al nodo master del cluster Dataproc del progetto SSH, quindi utilizza REP.shell per creare ed eseguire un'applicazione mapreduce di Scala Wordcount.
SSH nel nodo master del cluster Dataproc
Vai alla pagina Cluster del progetto nella console Google Cloud, quindi fai clic sul nome del tuo cluster.
Nella pagina dei dettagli del cluster, seleziona la scheda Istanze VM, quindi fai clic sulla selezione SSH che compare a destra della riga del nome del cluster.
Si apre una finestra del browser nella directory home sul nodo master
Avvia
spark-shell
$ spark-shell ... Using Scala version ... Type in expressions to have them evaluated. Type :help for more information. ... Spark context available as sc. ... SQL context available as sqlContext. scala>
Crea un RDD (Resilient Distributed Dataset) da uno snippet di testo Shakespeare situato in Cloud Storage
scala> val text_file = sc.textFile("gs://pub/shakespeare/rose.txt")
Esegui un mapreduce del testo sulla pagina, quindi visualizza il risultato
wordcounts
scala> val wordCounts = text_file.flatMap(line => line.split(" ")).map(word => (word, 1)).reduceByKey((a, b) => a + b) scala> wordCounts.collect ... Array((call,1), (What's,1), (sweet.,1), (we,1), (as,1), (name?,1), (any,1), (other,1), (rose,1), (smell,1), (name,1), (a,2), (would,1), (in,1), (which,1), (That,1), (By,1))
Salva i conteggi in
<bucket-name>/wordcounts-out
in Cloud Storage, quindi esci dalscala-shell
.scala> wordCounts.saveAsTextFile("gs://<bucket-name>/wordcounts-out/") scala> exit
Utilizza
gsutil
per elencare i file di output e visualizzarne i contenuti$ gsutil ls gs://bucket-name/wordcounts-out/ gs://spark-scala-demo-bucket/wordcounts-out/ gs://spark-scala-demo-bucket/wordcounts-out/_SUCCESS gs://spark-scala-demo-bucket/wordcounts-out/part-00000 gs://spark-scala-demo-bucket/wordcounts-out/part-00001
Controlla i contenuti
gs://<bucket-name>/wordcounts-out/part-00000
$ gsutil cat gs://bucket-name/wordcounts-out/part-00000 (call,1) (What's,1) (sweet.,1) (we,1) (as,1) (name?,1) (any,1) (other,1)
Codice di esempio preinstallato in esecuzione
Il nodo master Dataproc contiene file jar eseguibili con esempi standard di Apache Hadoop e Spark.
Tipo di barattolo | Master node /usr/lib/ location |
Origine GitHub | Documenti Apache |
---|---|---|---|
Hadoop | hadoop-mapreduce/hadoop-mapreduce-examples.jar |
link all'origine | Tutorial MapReduce |
Spark | spark/lib/spark-examples.jar |
link all'origine | Esempi di Spark |
Invio di esempi al cluster dalla riga di comando
È possibile inviare esempi dalla macchina di sviluppo locale utilizzando lo strumento a riga di comando gcloud
di Google Cloud CLI (vedi
Utilizzare la console Google Cloud
per inviare job dalla console Google Cloud).
Esempio di Hadoop WordCount
gcloud dataproc jobs submit hadoop --cluster=cluster-name \ --region=region \ --jars=file:///usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar \ --class=org.apache.hadoop.examples.WordCount \ -- URI of input file URI of output file
Esempio di Spark WordCount
gcloud dataproc jobs submit spark --cluster=cluster-name \ --region=region \ --jars=file:///usr/lib/spark/examples/jars/spark-examples.jar \ --class=org.apache.spark.examples.JavaWordCount \ -- URI of input file
Arresta il cluster
Per evitare addebiti continui, arresta il cluster ed elimina le risorse Cloud Storage (bucket e file Cloud Storage) utilizzati per questo tutorial.
Per arrestare un cluster:
gcloud dataproc clusters delete cluster-name \ --region=region
Per eliminare il file jar di Cloud Storage:
gsutil rm gs://bucket-name/HelloWorld.jar
Puoi eliminare un bucket e tutte le relative cartelle e file utilizzando questo comando:
gsutil rm -r gs://bucket-name/
Passaggi successivi
Leggi Gestione delle dipendenze Java per le applicazioni Apache Spark su Dataproc.
Consulta i suggerimenti per l'ottimizzazione dei job di Spark