Crea un cluster Dataproc utilizzando librerie client
Il codice campione elencato di seguito mostra come utilizzare le librerie client Cloud per creare un cluster Dataproc, eseguire un job sul cluster, quindi eliminare il cluster.
Puoi anche eseguire queste attività utilizzando:
- Richieste API REST in Guide rapide con Explorer API
- la console Google Cloud in Creare un cluster Dataproc utilizzando la console Google Cloud
- Google Cloud CLI in Creare un cluster Dataproc utilizzando Google Cloud CLI
Prima di iniziare
- Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.
-
Nella pagina del selettore di progetti della console Google Cloud, seleziona o crea un progetto Google Cloud.
-
Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.
-
Attiva l'API Dataproc.
-
Nella pagina del selettore di progetti della console Google Cloud, seleziona o crea un progetto Google Cloud.
-
Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.
-
Attiva l'API Dataproc.
Esegui il codice
Prova la procedura dettagliata: fai clic su Apri in Cloud Shell per eseguire una procedura dettagliata sulle librerie client di Cloud Python che crea un cluster, esegue un job PySpark e poi elimina il cluster.
Go
- Installare la libreria client Per ulteriori informazioni, consulta la sezione Configurazione dell'ambiente di sviluppo.
- Configura l'autenticazione
- Clona ed esegui il codice GitHub di esempio.
- Visualizza l'output. Il codice restituisce il log del driver del job al bucket gestione temporanea predefinito di Dataproc in Cloud Storage. Puoi visualizzare l'output del driver del job dalla console Google Cloud nella sezione Job di Dataproc. Fai clic su ID job per visualizzare l'output del job nella pagina Dettagli job.
Java
- Installare la libreria client. Per ulteriori informazioni, consulta la sezione Configurazione di un ambiente di sviluppo Java.
- Configura l'autenticazione
- Clona ed esegui il codice GitHub di esempio.
- Visualizza l'output. Il codice restituisce il log del driver del job al bucket gestione temporanea predefinito di Dataproc in Cloud Storage. Puoi visualizzare l'output del driver del job dalla console Google Cloud nella sezione Job di Dataproc. Fai clic su ID job per visualizzare l'output del job nella pagina Dettagli job.
Node.js
- Installa la libreria client Per ulteriori informazioni, consulta Configurazione di un ambiente di sviluppo Node.js.
- Configura l'autenticazione
- Clona ed esegui il codice GitHub di esempio.
- Visualizza l'output. Il codice restituisce il log del driver del job al bucket gestione temporanea predefinito di Dataproc in Cloud Storage. Puoi visualizzare l'output del driver del job dalla console Google Cloud nella sezione Job di Dataproc. Fai clic su ID job per visualizzare l'output del job nella pagina Dettagli job.
Python
- Installa la libreria client Per ulteriori informazioni, consulta la sezione Configurazione di un ambiente di sviluppo Python.
- Configura l'autenticazione
- Clona ed esegui il codice GitHub di esempio.
- Visualizza l'output. Il codice restituisce il log del driver del job al bucket gestione temporanea predefinito di Dataproc in Cloud Storage. Puoi visualizzare l'output del driver del job dalla console Google Cloud nella sezione Job di Dataproc. Fai clic su ID job per visualizzare l'output del job nella pagina Dettagli job.
Passaggi successivi
- Vedi Libreria client Cloud Dataproc Risorse aggiuntive.