Aggiorna un cluster Dataproc utilizzando un modello
Questa pagina mostra come utilizzare un modello Explorer API di Google per aggiornare un cluster Dataproc al fine di modificare il numero di worker in un cluster. Scalare un cluster fino a includere più worker è un'attività comune quando sono necessari worker aggiuntivi per elaborare job di dimensioni maggiori.
Per altri modi per aggiornare un cluster Dataproc, vedi:
Prima di iniziare
Questa guida rapida presuppone che tu abbia già creato un cluster Dataproc. Puoi utilizzare Explorer API, la console Google Cloud, lo strumento a riga di comando gcloud di gcloud CLI o le Guide rapide all'utilizzo delle librerie client di Cloud per creare un cluster.aggiorna un cluster
Per aggiornare il numero di worker nel cluster, compila ed esegui il modello Prova questa API dell'Explorer API di Google.
Parametri di richiesta:
- Inserisci il parametro projectId.
- Specifica la regione in cui si trova il cluster (conferma o sostituisci "us-central1"). La regione del cluster è elencata nella pagina Cluster di Dataproc nella console Google Cloud.
- Specifica il valore clusterName del cluster esistente che stai aggiornando (conferma o sostituisci "example-cluster").
- updateMask:
"config.worker_config.num_instances". Questo è il percorso JSON relativo alla risorsa Cluster per il parametro
numInstances
da aggiornare (consulta le istruzioni per il corpo della richiesta).
Corpo della richiesta:
- config.workerConfig.numInstances: ("3": il nuovo numero di worker). Puoi modificare questo valore per aggiungere meno o più worker. Ad esempio, se il cluster standard ha il numero predefinito di 2 worker, specificando "3" verrà aggiunto 1 worker; specificando "4 aggiungerà 2). Un cluster Dataproc standard deve avere almeno 2 worker.
Fai clic su ESEGUI. La prima volta che esegui il modello API, ti potrebbe essere chiesto di scegliere e accedere al tuo Account Google, per poi autorizzare l'Explorer API di Google ad accedere al tuo account. Se la richiesta ha esito positivo, la risposta JSON indica che l'aggiornamento del cluster è in attesa.
Per confermare che il numero di worker nel cluster sia stato aggiornato, apri la pagina Cluster di Dataproc nella console Google Cloud e visualizza la colonna Totale nodi worker del cluster. Potrebbe essere necessario fare clic su AGGIORNA nella parte superiore della pagina per visualizzare il valore aggiornato al termine dell'aggiornamento del cluster.
Esegui la pulizia
Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.
- Se non hai bisogno del cluster per esplorare le altre guide rapide o per eseguire altri job, utilizza Explorer API, la console Google Cloud, lo strumento a riga di comando gcloud di gcloud CLI o le Guide rapide all'utilizzo delle librerie client di Cloud per eliminare il cluster.
Passaggi successivi
Puoi utilizzare questo modello di guida rapida per ripristinare il cluster al valore
workerConfig.numInstances
precedente.Scopri come scrivere ed eseguire un job Spark Scala.