Arresta e avvia i cluster Dataproc

Dopo aver creato un cluster, puoi arrestarlo e riavviarlo quando ne hai bisogno. L'arresto di un cluster inattivo evita l'addebito di costi ed evita la necessità di eliminare un cluster inattivo per poi creare un cluster con la stessa configurazione in un secondo momento.

Note sulle funzionalità:

  • La funzionalità di avvio/arresto del cluster è supportata solo con le seguenti versioni delle immagini Dataproc o successive:
    • 1.4.35-debian10/ubuntu18
    • 1.5.10-debian10/ubuntu18
    • 2.0.0-RC6-debian10/ubuntu18
  • L'arresto di singoli nodi del cluster non è consigliato perché lo stato di una VM arrestata potrebbe non essere sincronizzato con lo stato del cluster, il che può causare errori.

Arresto di un cluster

L'arresto di un cluster arresta tutte le VM di Compute Engine. Non paghi per queste VM mentre sono arrestate. Tuttavia, continuerai a pagare per le eventuali risorse del cluster associate, come i dischi permanenti.

Note:

  • Operazioni in esecuzione: se un cluster ha operazioni in esecuzione (ad esempio operazioni di aggiornamento o diagnostica), la richiesta di arresto non andrà a buon fine.
  • Job in esecuzione: se un cluster ha job in esecuzione, la richiesta di arresto riuscirà, le VM verranno arrestate e i job in esecuzione non andranno a buon fine.
  • Interrompi risposta: quando la richiesta di interruzione restituisce un'operazione di interruzione all'utente o al chiamante nella risposta, il cluster sarà in stato STOPPING e non sarà consentito inviare ulteriori job (le richieste SubmitJob non verranno superate).
  • Scalabilità automatica: se arresti un cluster in cui è abilitata la scalabilità automatica, il gestore della scalabilità automatica di Dataproc interromperà la scalabilità del cluster. La scalabilità del cluster verrà ripristinata dopo il riavvio. Se abiliti la scalabilità automatica su un cluster arrestato, il criterio di scalabilità automatica avrà effetto solo dopo l'avvio del cluster.

Monitorare l'operazione di interruzione

Puoi eseguire gcloud dataproc operations describe operation-id per monitorare l'operazione di arresto del cluster a lunga esecuzione. Puoi anche utilizzare il comando gcloud dataproc clusters describe cluster-name per monitorare la transizione dello stato del cluster da RUNNING a STOPPING a STOPPED.

Limitazioni

Avvio di un cluster

  • Quando avvii un cluster arrestato, le eventuali azioni di inizializzazione non verranno eseguite nuovamente. Le azioni di inizializzazione vengono eseguite sui nodi del cluster solo quando il cluster viene creato e quando vengono aggiunti i nodi quando viene fatto lo scale up del cluster.

  • Una volta completata l'operazione di avvio, puoi inviare immediatamente job al cluster. Tuttavia, l'esecuzione di questi job può essere ritardata (circa 30 secondi) per consentire a HDFS e YARN di diventare operativi.

Usare Interrompi/Avvia

Puoi arrestare e avviare un cluster utilizzando gcloud CLI o l'API Dataproc.

Comando g-cloud

Arresta un cluster

gcloud dataproc clusters stop cluster-name \
    --region=region

Avvia un cluster

gcloud dataproc clusters start cluster-name \
    --region=region

API REST

Arresta un cluster

Invia una richiesta clusters.stop.

Avvia un cluster

Invia una richiesta clusters.start.

Console

Fai clic sul nome del cluster dalla pagina Cluster di Dataproc nella console Google Cloud, quindi fai clic su ARRESTA per arrestare e AVVIA per avviare il cluster.