Arresta e avvia i cluster Dataproc

Dopo aver creato un cluster, puoi arrestarlo e riavviarlo quando ne hai bisogno. L'arresto di un cluster inattivo evita addebiti e la necessità di eliminare un cluster inattivo, per poi crearne uno con la stessa configurazione in un secondo momento.

Note:

  • La funzionalità di avvio e arresto del cluster è disponibile sui cluster creati con immagini rilasciate a partire dalle seguenti versioni di immagini:
    • 1.4.35-debian10/ubuntu18
    • 1.5.10-debian10/ubuntu18
    • 2.0.0-RC6-debian10/ubuntu18
  • L'arresto dei singoli nodi del cluster non è consigliato perché lo stato di una VM arrestata potrebbe non essere sincronizzato con lo stato del cluster, il che può causare errori.

Arresto di un cluster

L'arresto di un cluster interrompe tutte le VM di Compute Engine del cluster. Non paghi le VM mentre sono arrestate. Tuttavia, continui a pagare per qualsiasi risorsa del cluster associata, ad esempio dischi permanenti.

Note:

  • Operazioni in esecuzione:se un cluster ha operazioni in esecuzione, come operazioni di aggiornamento o diagnostica, la richiesta di interruzione non andrà a buon fine.
  • Job in esecuzione:se un cluster ha job in esecuzione, la richiesta di arresto andrà a buon fine: le VM verranno arrestate e i job in esecuzione non andranno a buon fine.
  • Stop Response: quando la richiesta di interruzione restituisce un'operazione di interruzione, il cluster sarà nello stato STOPPING e non sarà consentito l'invio di ulteriori job (le richieste SubmitJob non andranno a buon fine).
  • Scalabilità automatica:se arresti un cluster con la scalabilità automatica abilitata, il gestore della scalabilità automatica di Dataproc interromperà la scalabilità del cluster. Riprenderà a scalare il cluster una volta riavviato. Se abiliti la scalabilità automatica su un cluster arrestato, il criterio di scalabilità automatica avrà effetto dopo il riavvio del cluster.

Monitoraggio dell'operazione di arresto

Puoi eseguire gcloud dataproc operations describe operation-id per monitorare l'operazione di arresto del cluster a lunga esecuzione. Puoi utilizzare il comando gcloud dataproc clusters describe cluster-name per monitorare la transizione dello stato del cluster da RUNNING a STOPPING a STOPPED.

Limitazioni

Avvio di un cluster

  • Quando riavvii un cluster arrestato, le azioni di inizializzazione non vengono eseguite di nuovo. Le azioni di inizializzazione vengono eseguite sui nodi del cluster solo quando il cluster viene creato o quando vengono aggiunti nodi durante lo scale up del cluster.

  • Una volta completata l'operazione di avvio, puoi inviare immediatamente i job al cluster. Tuttavia, l'esecuzione dei job può essere ritardata di circa 30 secondi per consentire a HDFS e YARN di diventare operativi.

Come arrestare e avviare un cluster

Puoi arrestare e avviare un cluster utilizzando la console Google Cloud , gcloud CLI o l'API Dataproc.

ConsoleGoogle Cloud

Fai clic sul nome del cluster nella pagina Cluster di Dataproc nella console Google Cloud , quindi fai clic su STOP per arrestare il cluster e su START per avviarlo.

Interfaccia a riga di comando gcloud

Interrompere un cluster

gcloud dataproc clusters stop CLUSTER_NAME \
    --region=REGION

Avviare un cluster

gcloud dataproc clusters start CLUSTER_NAME \
    --region=REGION

API REST

Interrompere un cluster

Invia una richiesta clusters.stop.

Avviare un cluster

Invia una richiesta clusters.start.