Questo tutorial include una procedura dettagliata di Cloud Shell che utilizza le librerie client di Google Cloud per Python per chiamare in modo programmatico le API Dataproc gRPC di Dataproc, al fine di creare un cluster e inviare un job al cluster.
Le seguenti sezioni spiegano il funzionamento del codice della procedura dettagliata contenuto nel repository GitHub GoogleCloudPlatform/python-dataproc.
esegui la procedura dettagliata di Cloud Shell
Fai clic su Apri in Cloud Shell per eseguire la procedura dettagliata.
comprendi il codice
Credenziali predefinite dell'applicazione
La procedura dettagliata di Cloud Shell in questo tutorial fornisce l'autenticazione mediante l'utilizzo delle credenziali del tuo progetto Google Cloud. Quando esegui il codice in locale, la pratica consigliata è utilizzare le credenziali dell'account di servizio per autenticare il codice.
Crea un cluster Dataproc
I seguenti valori sono impostati per creare il cluster:
- Il progetto in cui verrà creato il cluster
- La regione in cui verrà creato il cluster
- Il nome del cluster
- La configurazione del cluster, che specifica un master e due worker principali,
Per le restanti impostazioni del cluster vengono utilizzate le impostazioni di configurazione predefinite. Puoi eseguire l'override delle impostazioni di configurazione del cluster predefinite. Ad esempio, puoi aggiungere VM secondarie (valore predefinito = 0) o specificare una rete VPC non predefinita per il cluster. Per ulteriori informazioni, consulta CreateCluster.
invia un job
Per inviare il job sono impostati i seguenti valori:
- Il progetto in cui verrà creato il cluster
- La regione in cui verrà creato il cluster
- La configurazione del job, che specifica il nome del cluster e il percorso file (URI) Cloud Storage del job PySpark
Per ulteriori informazioni, consulta SubmitJob.
Eliminare il cluster
I seguenti valori sono impostati per eliminare il cluster:
- Il progetto in cui verrà creato il cluster
- La regione in cui verrà creato il cluster
- Il nome del cluster
Per ulteriori informazioni, consulta DeleteCluster.