Arresta e avvia i cluster Dataproc

Dopo aver creato un cluster, puoi interromperlo e riavviarlo quando necessario. L'interruzione di un cluster inattivo evita di incorrere in addebiti e la necessità di eliminare un cluster inattivo, per poi creare un cluster con la stessa configurazione in un secondo momento.

Note sulla funzionalità:

  • La funzionalità di avvio/arresto del cluster è supportata solo con le seguenti versioni immagine Dataproc o successive:
    • 1.4.35-debian10/ubuntu18
    • 1.5.10-debian10/ubuntu18
    • 2.0.0-RC6-debian10/ubuntu18
  • L'arresto dei singoli nodi del cluster non è consigliato perché lo stato di una VM arrestata potrebbe non essere sincronizzato con lo stato del cluster, il che può comportare errori.

Arresto di un cluster

L'arresto di un cluster arresta tutte le VM Compute Engine del cluster. Non paghi per queste VM mentre sono arrestate. Tuttavia, continuerai a pagare per tutte le risorse del cluster associate, ad esempio i dischi permanenti.

Note:

  • Operazioni in esecuzione:se un cluster ha operazioni in esecuzione (ad esempio operazioni di aggiornamento o diagnostica), la richiesta di arresto non andrà a buon fine.
  • Job in esecuzione: se un cluster ha job in esecuzione, la richiesta di arresto andrà a buon fine, le VM si arresteranno e i job in esecuzione non andranno a buon fine.
  • Risposta di interruzione: quando la richiesta di interruzione restituisce un'operazione di interruzione all'utente o all'autore della chiamata nella risposta, il cluster sarà in uno stato STOPPING e non sarà consentito inviare altri job (le richieste SubmitJob non andranno a buon fine).
  • Scalabilità automatica: se interrompi un cluster per il quale è attivata la scalabilità automatica, il gestore della scalabilità automatica di Dataproc interromperà il ridimensionamento del cluster. Il riavvio del cluster riprenderà la scalabilità. Se attivi la scalabilità automatica su un cluster fermo, il criterio di scalabilità automatica verrà applicato solo dopo l'avvio del cluster.

Monitoraggio dell'operazione di arresto

Puoi eseguire gcloud dataproc operations describe operation-id per monitorare l'operazione di arresto del cluster che richiede molto tempo. Puoi anche utilizzare il comando gcloud dataproc clusters describe cluster-name per monitorare la transizione dello stato del cluster da RUNNING a STOPPING a STOPPED.

Limitazioni

Avvio di un cluster

  • Quando avvii un cluster fermato, le azioni di inizializzazione non verranno eseguite di nuovo. Le azioni di inizializzazione vengono eseguite sui nodi del cluster solo al momento della creazione del cluster e quando vengono aggiunti nodi durante l'aumento di scala del cluster.

  • Al termine dell'operazione di avvio, puoi inviare immediatamente i job al cluster. Tuttavia, l'esecuzione di questi job può essere ritardata (circa 30 secondi) per consentire il funzionamento di HDFS e YARN.

Utilizzo di Avvia/Interrompi

Puoi arrestare e avviare un cluster utilizzando gcloud CLI o l'API Dataproc.

Comando g-cloud

Interrompere un cluster

gcloud dataproc clusters stop cluster-name \
    --region=region

Avvia un cluster

gcloud dataproc clusters start cluster-name \
    --region=region

API REST

Interrompere un cluster

Invia una richiesta clusters.stop.

Avvia un cluster

Invia una richiesta clusters.start.

Console

Fai clic sul nome del cluster nella pagina Cluster di Dataproc nella console Google Cloud, quindi fai clic su INTERRUPI per interrompere e AVVIA per avviare il cluster.