Aggiornare un cluster Dataproc utilizzando un modello

Questa pagina mostra come utilizzare un modello di Explorer API di Google per aggiornare un cluster Dataproc in modo da modificare il numero di worker in un cluster. Eseguire la scalabilità di un cluster per includere più worker è un'attività comune quando sono necessari worker aggiuntivi per elaborare job di dimensioni maggiori.

Per altri modi per aggiornare un cluster Dataproc, consulta:

Prima di iniziare

Questa guida rapida presuppone che tu abbia già creato un cluster Dataproc. Puoi utilizzare API Explorer, la console Google Cloud, l'interfaccia a riga di comando gcloud o lo strumento a riga di comando gcloud o le iniziative rapide con le librerie client di Cloud per creare un cluster.

Aggiorna un cluster

Per aggiornare il numero di worker nel cluster, compila ed esegui il modello Prova questa API di Explorer API di Google.

  1. Parametri di richiesta:

    1. Inserisci il tuo projectId.
    2. Specifica la regione in cui si trova il tuo cluster (conferma o sostituisci "us-central1"). La regione del cluster è elencata nella pagina Cluster di Dataproc nella console Google Cloud.
    3. Specifica il clusterName del cluster esistente che stai aggiornando (conferma o sostituisci "example-cluster").
    4. updateMask: "config.worker_config.num_instances". Si tratta del PATH JSON relativo alla risorsa Cluster al parametro numInstances da aggiornare (vedi le istruzioni per il corpo della richiesta).

  2. Corpo della richiesta:

    1. config.workerConfig.numInstances: ("3": il nuovo numero di worker). Puoi modificare questo valore per aggiungere meno o più worker. Ad esempio, se il tuo cluster standard ha il numero predefinito di 2 worker, specificando "3" verrà aggiunto un worker; specificando "4" verranno aggiunti 2 worker. Un cluster Dataproc standard deve avere almeno 2 worker.

  3. Fai clic su EXECUTE (ESEGUI). La prima volta che esegui il modello di API, potrebbe esserti chiesto di scegliere e accedere al tuo Account Google, quindi di autorizzare Google APIs Explorer ad accedere al tuo account. Se la richiesta riesce, la risposta JSON indica che l'aggiornamento del cluster è in attesa.

  4. Per verificare che il numero di worker nel cluster sia stato aggiornato, apri la pagina Dataproc Cluster nella console Google Cloud e visualizza la colonna Nodi worker totali del cluster. Potrebbe essere necessario fare clic su AGGIorna nella parte superiore della pagina per visualizzare il valore aggiornato al termine dell'aggiornamento del cluster.

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.

  1. Se non hai bisogno del cluster per esplorare le altre guide rapide o per eseguire altri job, utilizza API Explorer, la console Google Cloud, l'strumento a riga di comando gcloud CLI o le guide rapide che utilizzano le librerie client di Cloud per eliminare il cluster.gcloud

Passaggi successivi