Utilizzo del connettore Cloud Storage con Apache Spark

---

Questo tutorial mostra come eseguire codice di esempio che utilizza il connettore Cloud Storage con Apache Spark.

Obiettivi

Scrivi un semplice job Spark di conteggio parole in Java, Scala o Python, quindi eseguilo su un cluster Dataproc.

È preinstallato un cluster Dataproc con i componenti Spark necessari per questo tutorial.

Costi

In questo documento utilizzi i seguenti componenti fatturabili di Google Cloud:

• Compute Engine
• Dataproc
• Cloud Storage

Per generare una stima dei costi basata sull'utilizzo previsto, utilizza il Calcolatore prezzi. I nuovi utenti di Google Cloud potrebbero essere idonei per una prova gratuita.

Prima di iniziare

Esegui i passaggi riportati di seguito per prepararti a eseguire il codice in questo tutorial.

1. Configura il progetto. Se necessario, configura un progetto con le API Dataproc, Compute Engine e Cloud Storage abilitate e Google Cloud CLI installato sulla tua macchina locale.

   1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

   2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

      Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

      Go to project selector

   3. Make sure that billing is enabled for your Google Cloud project.

   4. Enable the Dataproc, Compute Engine, and Cloud Storage APIs.

      Enable the APIs

   5. Create a service account:

      1. In the Google Cloud console, go to the Create service account page.

         Go to Create service account
      2. Select your project.

      3. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

         In the Service account description field, enter a description. For example, Service account for quickstart.

      4. Click Create and continue.

      5. Grant the Project > Owner role to the service account.

         To grant the role, find the Select a role list, then select Project > Owner.

         Note: The Role field affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later. In production environments, do not grant the Owner, Editor, or Viewer roles. Instead, grant a predefined role or custom role that meets your needs.
      6. Click Continue.

      7. Click Done to finish creating the service account.

         Do not close your browser window. You will use it in the next step.

   6. Create a service account key:

      1. In the Google Cloud console, click the email address for the service account that you created.
      2. Click Keys.
      3. Click Add key, and then click Create new key.
      4. Click Create. A JSON key file is downloaded to your computer.
      5. Click Close.

   7. Set the environment variable GOOGLE_APPLICATION_CREDENTIALS to the path of the JSON file that contains your credentials. This variable applies only to your current shell session, so if you open a new session, set the variable again.

      Example: Linux or macOS

      export GOOGLE_APPLICATION_CREDENTIALS="KEY_PATH"

      Replace KEY_PATH with the path of the JSON file that contains your credentials.

      For example:

      export GOOGLE_APPLICATION_CREDENTIALS="/home/user/Downloads/service-account-file.json"

      Example: Windows

      For PowerShell:

      $env:GOOGLE_APPLICATION_CREDENTIALS="KEY_PATH"

      Replace KEY_PATH with the path of the JSON file that contains your credentials.

      For example:

      $env:GOOGLE_APPLICATION_CREDENTIALS="C:\Users\username\Downloads\service-account-file.json"

      For command prompt:

      set GOOGLE_APPLICATION_CREDENTIALS=KEY_PATH

      Replace KEY_PATH with the path of the JSON file that contains your credentials.

   8. Install the Google Cloud CLI.

   9. To initialize the gcloud CLI, run the following command:

      gcloud init

   10. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

       Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

       Go to project selector

   11. Make sure that billing is enabled for your Google Cloud project.

   12. Enable the Dataproc, Compute Engine, and Cloud Storage APIs.

       Enable the APIs

   13. Create a service account:

       1. In the Google Cloud console, go to the Create service account page.

          Go to Create service account
       2. Select your project.

       3. In the Service account name field, enter a name. The Google Cloud console fills in the Service account ID field based on this name.

          In the Service account description field, enter a description. For example, Service account for quickstart.

       4. Click Create and continue.

       5. Grant the Project > Owner role to the service account.

          To grant the role, find the Select a role list, then select Project > Owner.

          Note: The Role field affects which resources the service account can access in your project. You can revoke these roles or grant additional roles later. In production environments, do not grant the Owner, Editor, or Viewer roles. Instead, grant a predefined role or custom role that meets your needs.
       6. Click Continue.

       7. Click Done to finish creating the service account.

          Do not close your browser window. You will use it in the next step.

   14. Create a service account key:

       1. In the Google Cloud console, click the email address for the service account that you created.
       2. Click Keys.
       3. Click Add key, and then click Create new key.
       4. Click Create. A JSON key file is downloaded to your computer.
       5. Click Close.

   15. Set the environment variable GOOGLE_APPLICATION_CREDENTIALS to the path of the JSON file that contains your credentials. This variable applies only to your current shell session, so if you open a new session, set the variable again.

       Example: Linux or macOS

       export GOOGLE_APPLICATION_CREDENTIALS="KEY_PATH"

       Replace KEY_PATH with the path of the JSON file that contains your credentials.

       For example:

       export GOOGLE_APPLICATION_CREDENTIALS="/home/user/Downloads/service-account-file.json"

       Example: Windows

       For PowerShell:

       $env:GOOGLE_APPLICATION_CREDENTIALS="KEY_PATH"

       Replace KEY_PATH with the path of the JSON file that contains your credentials.

       For example:

       $env:GOOGLE_APPLICATION_CREDENTIALS="C:\Users\username\Downloads\service-account-file.json"

       For command prompt:

       set GOOGLE_APPLICATION_CREDENTIALS=KEY_PATH

       Replace KEY_PATH with the path of the JSON file that contains your credentials.

   16. Install the Google Cloud CLI.

   17. To initialize the gcloud CLI, run the following command:

       gcloud init

2. Crea un bucket Cloud Storage. Hai bisogno di uno spazio di archiviazione Cloud Storage in cui conservare i dati del tutorial. Se non ne hai uno pronto per l'uso, crea un nuovo bucket nel tuo progetto.

   1. In the Google Cloud console, go to the Cloud Storage Buckets page.

      Go to Buckets page

   2. Click Create bucket.
   3. On the Create a bucket page, enter your bucket information. To go to the next step, click Continue.
      • For Name your bucket, enter a name that meets the bucket naming requirements.
      • For Choose where to store your data, do the following:
        • Select a Location type option.
        • Select a Location option.
      • For Choose a default storage class for your data, select a storage class.
      • For Choose how to control access to objects, select an Access control option.
      • For Advanced settings (optional), specify an encryption method, a retention policy, or bucket labels.
   4. Click Create.

3. Imposta le variabili di ambiente locali. Imposta le variabili di ambiente sulla macchina locale. Imposta l'ID progetto Google Cloud e il nome Bucket Cloud Storage che utilizzerai per questo tutorial. Fornisci anche il nome e la regione di un cluster Dataproc esistente o nuovo. Nel passaggio successivo puoi creare un cluster da utilizzare in questo tutorial.

   PROJECT=project-id
   

   BUCKET_NAME=bucket-name
   

   CLUSTER=cluster-name
   

   REGION=cluster-region Example: "us-central1"
   

4. Crea un cluster Dataproc. Esegui il comando riportato di seguito per Creare un nodo singolo Cluster Dataproc nel cluster specificato Zona di Compute Engine.

   gcloud dataproc clusters create ${CLUSTER} \
       --project=${PROJECT} \
       --region=${REGION} \
       --single-node
   

   Il comando riportato sopra installa la versione dell'immagine del cluster predefinita. Puoi utilizzare lo --image-version per selezionare una versione immagine per il cluster. Ogni versione dell'immagine installa versioni specifiche dei componenti della libreria Spark e Scala. Se prepari il job Spark per il conteggio delle parole in Java o Scala, farai riferimento alle versioni di Spark e Scala installate sul tuo cluster quando prepari il pacchetto del job.

5. Copia i dati pubblici nel tuo bucket Cloud Storage. Copia uno snippet di testo di Shakespeare di dati pubblici nella cartella input del tuo bucket Cloud Storage:

   gcloud storage cp gs://pub/shakespeare/rose.txt \
       gs://${BUCKET_NAME}/input/rose.txt
   

6. Configura un ambiente di sviluppo Java (Apache Maven), Scala (SBT) o Python.

   Utilizza Cloud Shell. Cloud Shell include gli strumenti utilizzati in questo tutorial, tra cui Apache Maven, Python e Google Cloud CLI.

prepara il job di conteggio parole di Spark

Seleziona una scheda di seguito per seguire i passaggi per preparare un pacchetto o un file di job da inviare al cluster. Puoi preparare uno dei seguenti tipi di job:

• Job Spark in Java utilizzando Apache Maven per creare un Pacchetto JAR
• Job Spark in Scala che utilizza SBT per compilare un pacchetto JAR
• Crea job in Python (PySpark)

Java

1. Copia il file pom.xml sulla tua macchina locale. Il seguente file pom.xml specifica la libreria Scala e Spark con dipendenze, a cui è assegnato un ambito provided indica che il cluster Dataproc fornirà questi delle librerie in fase di runtime. Il file pom.xml non specifica Dipendenza da Cloud Storage perché il connettore implementa lo standard Interfaccia HDFS. Quando un job Spark accede ai file del cluster Cloud Storage (file con URI che iniziano con gs://), il sistema utilizza automaticamente il connettore Cloud Storage per accedere ai file in Cloud Storage
   Verifica la versione dell'immagine del cluster. Sostituisci i segnaposto version nel file per mostrare le versioni delle librerie Spark e Scala utilizzate dalla versione dell'immagine del tuo cluster. Tieni presente che il numero artefatto spark-core_ è il valore Scala Numero di versione major.minor.

   <?xml version="1.0" encoding="UTF-8"?>
   <project xmlns="http://maven.apache.org/POM/4.0.0"
       xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
       xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
     <modelVersion>4.0.0</modelVersion>
   
     <groupId>dataproc.codelab</groupId>
     <artifactId>word-count</artifactId>
     <version>1.0</version>
   
     <properties>
       <maven.compiler.source>1.8</maven.compiler.source>
       <maven.compiler.target>1.8</maven.compiler.target>
     </properties>
   
     <dependencies>
       <dependency>
         <groupId>org.scala-lang</groupId>
         <artifactId>scala-library</artifactId>
         <version>Scala version, for example, 2.11.8</version>
         <scope>provided</scope>
       </dependency>
       <dependency>
         <groupId>org.apache.spark</groupId>
         <artifactId>spark-core_Scala major.minor.version, for example, 2.11</artifactId>
         <version>Spark version, for example, 2.3.1</version>
         <scope>provided</scope>
       </dependency>
     </dependencies>
   </project>

2. Copia il codice WordCount.java elencato di seguito sul tuo computer locale.
   1. Crea un insieme di directory con il percorso src/main/java/dataproc/codelab:

      mkdir -p src/main/java/dataproc/codelab
      

   2. Copia WordCount.java sulla tua macchina locale in src/main/java/dataproc/codelab:

      cp WordCount.java src/main/java/dataproc/codelab
      

   WordCount.java è un semplice job Spark in Java che legge i file di testo da Cloud Storage, esegue un conteggio delle parole e poi scrive i risultati del file di testo in Cloud Storage.

   package dataproc.codelab;
   
   import java.util.Arrays;
   import org.apache.spark.SparkConf;
   import org.apache.spark.api.java.JavaPairRDD;
   import org.apache.spark.api.java.JavaRDD;
   import org.apache.spark.api.java.JavaSparkContext;
   import scala.Tuple2;
   
   public class WordCount {
     public static void main(String[] args) {
       if (args.length != 2) {
         throw new IllegalArgumentException("Exactly 2 arguments are required: <inputUri> <outputUri>");
       }
       String inputPath = args[0];
       String outputPath = args[1];
       JavaSparkContext sparkContext = new JavaSparkContext(new SparkConf().setAppName("Word Count"));
       JavaRDD<String> lines = sparkContext.textFile(inputPath);
       JavaRDD<String> words = lines.flatMap(
           (String line) -> Arrays.asList(line.split(" ")).iterator()
       );
       JavaPairRDD<String, Integer> wordCounts = words.mapToPair(
           (String word) -> new Tuple2<>(word, 1)
       ).reduceByKey(
           (Integer count1, Integer count2) -> count1 + count2
       );
       wordCounts.saveAsTextFile(outputPath);
     }
   }

3. Crea il pacchetto.

   mvn clean package
   

   Se la compilazione è riuscita, viene creato un target/word-count-1.0.jar.
4. Esegui la gestione delle fasi del pacchetto in Cloud Storage.

   gcloud storage cp target/word-count-1.0.jar \
       gs://${BUCKET_NAME}/java/word-count-1.0.jar
   

Scala

1. Copia il file build.sbt sulla tua macchina locale. Il seguente file build.sbt specifica le dipendenze delle librerie Scala e Spark, a cui viene assegnato un ambito provided per indicare che il cluster Dataproc fornirà queste librerie in fase di esecuzione. Il file build.sbt non specifica Dipendenza da Cloud Storage perché il connettore implementa lo standard Interfaccia HDFS. Quando un job Spark accede ai file del cluster Cloud Storage (file con URI che iniziano con gs://), il sistema utilizza automaticamente il connettore Cloud Storage per accedere in Cloud Storage
   Controlla la versione dell'immagine del cluster. Sostituisci i segnaposto version nel file per mostrare Le versioni delle librerie Spark e Scala utilizzate dal cluster versione immagine.

   scalaVersion := "Scala version, for example, 2.11.8"
   
   name := "word-count"
   organization := "dataproc.codelab"
   version := "1.0"
   
   libraryDependencies ++= Seq(
     "org.scala-lang" % "scala-library" % scalaVersion.value % "provided",
     "org.apache.spark" %% "spark-core" % "Spark version, for example, 2.3.1" % "provided"
   )

2. Copia word-count.scala sulla tua macchina locale. Si tratta di un semplice job Spark in Java che legge i file di testo da Cloud Storage, esegue un conteggio di parole e scrive i risultati del file di testo in Cloud Storage.

   package dataproc.codelab
   
   import org.apache.spark.SparkContext
   import org.apache.spark.SparkConf
   
   object WordCount {
     def main(args: Array[String]) {
       if (args.length != 2) {
         throw new IllegalArgumentException(
             "Exactly 2 arguments are required: <inputPath> <outputPath>")
       }
   
       val inputPath = args(0)
       val outputPath = args(1)
   
       val sc = new SparkContext(new SparkConf().setAppName("Word Count"))
       val lines = sc.textFile(inputPath)
       val words = lines.flatMap(line => line.split(" "))
       val wordCounts = words.map(word => (word, 1)).reduceByKey(_ + _)
       wordCounts.saveAsTextFile(outputPath)
     }
   }

3. Crea il pacchetto.

   sbt clean package
   

   Se la creazione ha esito positivo, target/scala-2.11/word-count_2.11-1.0.jar viene creato.
4. Staging del pacchetto in Cloud Storage.

   gcloud storage cp target/scala-2.11/word-count_2.11-1.0.jar \
       gs://${BUCKET_NAME}/scala/word-count_2.11-1.0.jar
   

Python

1. Copia word-count.py sulla tua macchina locale. Si tratta di un semplice job Spark in Python che utilizza PySpark per leggere i file di testo da Cloud Storage, conteggia le parole e poi scrive i risultati del file di testo in Cloud Storage.

   #!/usr/bin/env python
   
   import pyspark
   import sys
   
   if len(sys.argv) != 3:
     raise Exception("Exactly 2 arguments are required: <inputUri> <outputUri>")
   
   inputUri=sys.argv[1]
   outputUri=sys.argv[2]
   
   sc = pyspark.SparkContext()
   lines = sc.textFile(sys.argv[1])
   words = lines.flatMap(lambda line: line.split())
   wordCounts = words.map(lambda word: (word, 1)).reduceByKey(lambda count1, count2: count1 + count2)
   wordCounts.saveAsTextFile(sys.argv[2])

Invia il job

Esegui il seguente comando gcloud per inviare il job di conteggio parole al cluster Dataproc.

Java

gcloud dataproc jobs submit spark \
    --cluster=${CLUSTER} \
    --class=dataproc.codelab.WordCount \
    --jars=gs://${BUCKET_NAME}/java/word-count-1.0.jar \
    --region=${REGION} \
    -- gs://${BUCKET_NAME}/input/ gs://${BUCKET_NAME}/output/

Scala

gcloud dataproc jobs submit spark \
    --cluster=${CLUSTER} \
    --class=dataproc.codelab.WordCount \
    --jars=gs://${BUCKET_NAME}/scala/word-count_2.11-1.0.jar \
    --region=${REGION} \
    -- gs://${BUCKET_NAME}/input/ gs://${BUCKET_NAME}/output/

Python

gcloud dataproc jobs submit pyspark word-count.py \
    --cluster=${CLUSTER} \
    --region=${REGION} \
    -- gs://${BUCKET_NAME}/input/ gs://${BUCKET_NAME}/output/

Visualizza l'output

Al termine del job, esegui questa interfaccia alla gcloud CLI per visualizzare l'output del conteggio parole.

gcloud storage cat gs://${BUCKET_NAME}/output/*

L'output di conteggio parole dovrebbe essere simile al seguente:

(a,2)
(call,1)
(What's,1)
(sweet.,1)
(we,1)
(as,1)
(name?,1)
(any,1)
(other,1)
(rose,1)
(smell,1)
(name,1)
(would,1)
(in,1)
(which,1)
(That,1)
(By,1)

Esegui la pulizia

Al termine del tutorial, puoi eseguire la pulizia delle risorse che hai creato in modo smetti di usare la quota e ti vengono addebitati dei costi. Le seguenti sezioni descrivono come eliminare o disattivare queste risorse.

Elimina il progetto

Il modo più semplice per eliminare la fatturazione creato per il tutorial.

Per eliminare il progetto:

Attenzione: l'eliminazione di un progetto ha i seguenti effetti:

• L'intero contenuto del progetto viene eliminato. Se hai utilizzato un progetto esistente per le attività descritte in questo documento, quando lo elimini elimini anche tutto il lavoro svolto nel progetto.
• Gli ID progetto personalizzati non sono più disponibili. Quando hai creato questo progetto, potresti aver creato un ID progetto personalizzato che vuoi utilizzare in futuro. Per conservare gli URL che utilizzano l'ID progetto, ad esempio un appspot.com URL, elimina le risorse selezionate all'interno del progetto anziché eliminare l'intero progetto.

Se intendi esplorare più architetture, tutorial o guide rapide, il riuso dei progetti può aiutarti a non superare i limiti di quota.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

Eliminazione del cluster Dataproc

Anziché eliminare il progetto, potresti voler eliminare solo il cluster all'interno del progetto.

Eliminazione del bucket Cloud Storage

Console Google Cloud

1. In the Google Cloud console, go to the Cloud Storage Buckets page.

   Go to Buckets

2. Click the checkbox for the bucket that you want to delete.
3. To delete the bucket, click Delete, and then follow the instructions.

Riga di comando

Elimina il bucket:

gcloud storage buckets delete BUCKET_NAME

Importante: il bucket deve essere vuoto prima di poterlo eliminare.

Passaggi successivi

• Consulta i suggerimenti per l'ottimizzazione dei job di Spark