Crea un cluster Dataproc utilizzando la console Google Cloud

Guida rapida: crea un cluster Dataproc utilizzando la console Google Cloud

Crea un cluster Dataproc utilizzando la console Google Cloud

Questa pagina mostra come utilizzare la console Google Cloud per creare un cluster Dataproc, eseguire un job di base Apache Spark nel cluster e quindi modificare il numero di worker nel cluster.

---

Per seguire le istruzioni dettagliate per questa attività direttamente nella console Google Cloud, fai clic su Procedura guidata:

Procedura guidata

---

Prima di iniziare

1. Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.

2. Nella pagina del selettore dei progetti in Google Cloud Console, seleziona o crea un progetto Google Cloud.

   Nota: se non hai intenzione di mantenere le risorse che crei in questa procedura, crea un progetto invece di selezionarne uno esistente. Dopo aver completato questi passaggi, puoi eliminare il progetto e rimuovere tutte le risorse associate.

   Vai al selettore progetti

3. Assicurati che la fatturazione sia attivata per il tuo progetto Cloud. Scopri come verificare se la fatturazione è abilitata su un progetto.

4. Attiva l'API Dataproc.

   Abilita l'API

5. Nella pagina del selettore dei progetti in Google Cloud Console, seleziona o crea un progetto Google Cloud.

   Nota: se non hai intenzione di mantenere le risorse che crei in questa procedura, crea un progetto invece di selezionarne uno esistente. Dopo aver completato questi passaggi, puoi eliminare il progetto e rimuovere tutte le risorse associate.

   Vai al selettore progetti

6. Assicurati che la fatturazione sia attivata per il tuo progetto Cloud. Scopri come verificare se la fatturazione è abilitata su un progetto.

7. Attiva l'API Dataproc.

   Abilita l'API

Crea un cluster

1. Nella console Google Cloud, vai alla pagina Cluster di Dataproc.

   Vai a Cluster

2. Fai clic su Crea cluster.

3. Nella finestra di dialogo Crea cluster Dataproc, fai clic su Crea nella riga Cluster su Compute Engine.

4. Nel campo Nome cluster, inserisci example-cluster.

5. Negli elenchi Regione e Zona, seleziona una regione e una zona.

   Seleziona una regione (ad esempio us-east1 o europe-west1) per isolare le risorse, come le istanze di macchine virtuali (VM) e le località di archiviazione dei metadati e di Cloud Storage utilizzate da Dataproc. Per ulteriori informazioni, consulta Aree geografiche e zone disponibili ed Endpoint a livello di regione.

6. Per tutte le altre opzioni, utilizza le impostazioni predefinite.

7. Per creare il cluster, fai clic su Crea.

   Il nuovo cluster compare in un elenco nella pagina Cluster. Lo stato è Provisioning finché il cluster non è pronto per l'uso, quindi lo stato passa a In esecuzione. Il provisioning del cluster potrebbe richiedere un paio di minuti.

Invia un job Spark

Invia un job Spark che stima un valore di Pi:

1. Nel menu di navigazione di Dataproc, fai clic su Job.

2. Nella pagina Job, fai clic su Invia job, quindi procedi nel seguente modo:

   1. Nel campo Cluster, fai clic su Sfoglia.
   2. Nella riga relativa a example-cluster, fai clic su Seleziona.
   3. Nel campo ID job utilizza l'impostazione predefinita oppure fornisci un ID univoco per il tuo progetto Google Cloud.
   4. In Tipo di job, seleziona Spark.
   5. Nel campo Classe principale o jar, inserisci org.apache.spark.examples.SparkPi.
   6. Nel campo File jar, inserisci file:///usr/lib/spark/examples/jars/spark-examples.jar.

   7. Nel campo Argomenti, inserisci 1000 per impostare il numero di attività.

      Nota: il job Spark stima il pi greco utilizzando il metodo Monte Carlo. Genera punti x e y su un piano di coordinate che modella un cerchio racchiuso in un quadrato. L'argomento di input (1000) determina il numero di coppie x-y da generare; maggiore è il numero di coppie generate, maggiore è l'accuratezza della stima. Questa stima utilizza i nodi worker Dataproc per caricare in contemporanea il calcolo. Per ulteriori informazioni, consulta la pagina relativa alla stima di Pi utilizzando il metodo Monte Carlo e JavaSparkPi.java su GitHub.

   8. Fai clic su Invia.

      Il job viene visualizzato nella pagina Dettagli job. Lo stato del job è In esecuzione o In avvio, dopodiché diventa Riuscito dopo l'invio.

      Per evitare di scorrere l'output, fai clic su A capo riga: off. L'output è simile al seguente:

      Pi is roughly 3.1416759514167594
      

      Per visualizzare i dettagli del job, fai clic sulla scheda Configurazione.

Aggiorna un cluster

Aggiorna il cluster modificando il numero di istanze worker:

1. Nel menu di navigazione, fai clic su Cluster.
2. Nell'elenco dei cluster, fai clic su example-cluster.

3. Nella pagina Dettagli cluster, fai clic sulla scheda Configurazione.

   Vengono visualizzate le impostazioni del cluster.

4. Fai clic su Modifica.

5. Nel campo Nodi worker, inserisci 5.

6. Fai clic su Salva.

Ora il cluster è aggiornato. Per ridurre il numero di nodi worker al valore originale, segui la stessa procedura.

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi:

1. Nella pagina Dettagli cluster per example-cluster, fai clic su Elimina per eliminare il cluster.
2. Fai clic su Elimina per confermare l'eliminazione del cluster.

Passaggi successivi

• Prova questa guida rapida utilizzando altri strumenti:
  • Utilizza Explorer API.
  • Utilizza Google Cloud CLI.
• Scopri come creare regole firewall efficaci quando crei un progetto.
• Scopri come scrivere ed eseguire un job Spark Scala.
• Scopri come utilizzare Dataproc Hub per eseguire un blocco note Jupyter su Dataproc.