Creare un cluster Dataproc utilizzando le librerie client
Il codice campione elencato di seguito mostra come utilizzare le librerie client di Cloud per creare un cluster Dataproc, esegui un job sul cluster, quindi in un cluster Kubernetes.
Puoi anche eseguire queste attività utilizzando:
- Richieste REST API in Guide rapide con Explorer API
- alla console Google Cloud Crea un cluster Dataproc utilizzando la console Google Cloud
- Google Cloud CLI Crea un cluster Dataproc utilizzando Google Cloud CLI
Prima di iniziare
- Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.
-
Enable the Dataproc API.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.
-
Enable the Dataproc API.
Esegui il codice
Prova la procedura dettagliata: fai clic su Apri in Cloud Shell eseguire una procedura dettagliata sulle librerie client di Python per Cloud che crea un esegue un job PySpark, quindi elimina il cluster.
Go
- Installare la libreria client Per saperne di più, vedi Configurare l'ambiente di sviluppo.
- Configurare l'autenticazione
- Clona ed esegui il codice GitHub di esempio.
- Visualizza l'output. Il codice genera il log del driver del job al valore predefinito
Dataproc
bucket gestione temporanea
in Cloud Storage. Puoi visualizzare l'output del driver del job dalla console Google Cloud
nel repository Dataproc del progetto
Job
. Fai clic sull'ID job per visualizzare l'output del job
la pagina Dettagli job.
Java
- Installare la libreria client Per ulteriori informazioni, consulta Configurare un ambiente di sviluppo Java.
- Configurare l'autenticazione
- Clona ed esegui il codice GitHub di esempio.
- Visualizza l'output. Il codice genera il log del driver del job al valore predefinito
Dataproc
bucket gestione temporanea
in Cloud Storage. Puoi visualizzare l'output del driver del job dalla console Google Cloud
nel repository Dataproc del progetto
Job
. Fai clic sull'ID job per visualizzare l'output del job
la pagina Dettagli job.
Node.js
- Installare la libreria client Per ulteriori informazioni, consulta Configurare un ambiente di sviluppo Node.js.
- Configurare l'autenticazione
- Clona ed esegui il codice GitHub di esempio.
- Visualizza l'output. Il codice genera il log del driver del job al valore predefinito
Dataproc
bucket gestione temporanea
in Cloud Storage. Puoi visualizzare l'output del driver del job dalla console Google Cloud
nel repository Dataproc del progetto
Job
. Fai clic sull'ID job per visualizzare l'output del job
la pagina Dettagli job.
Python
- Installare la libreria client Per ulteriori informazioni, consulta Configurare un ambiente di sviluppo Python.
- Configurare l'autenticazione
- Clona ed esegui il codice GitHub di esempio.
- Visualizza l'output. Il codice genera il log del driver del job al valore predefinito
Dataproc
bucket gestione temporanea
in Cloud Storage. Puoi visualizzare l'output del driver del job dalla console Google Cloud
nel repository Dataproc del progetto
Job
. Fai clic sull'ID job per visualizzare l'output del job
la pagina Dettagli job.
Passaggi successivi
- Visualizza la libreria client di Dataproc Cloud Risorse aggiuntive.