Dopo aver creato un cluster, puoi arrestarlo e riavviarlo quando ne hai bisogno. L'arresto di un cluster inattivo evita l'addebito di costi ed evita la necessità di eliminare un cluster inattivo per poi creare un cluster con la stessa configurazione in un secondo momento.
Note sulle funzionalità:
- La funzionalità di avvio/arresto del cluster è supportata solo con le seguenti versioni delle immagini Dataproc o successive:
- 1.4.35-debian10/ubuntu18
- 1.5.10-debian10/ubuntu18
- 2.0.0-RC6-debian10/ubuntu18
- L'arresto di singoli nodi del cluster non è consigliato perché lo stato di una VM arrestata potrebbe non essere sincronizzato con lo stato del cluster, il che può causare errori.
Arresto di un cluster
L'arresto di un cluster arresta tutte le VM di Compute Engine. Non paghi per queste VM mentre sono arrestate. Tuttavia, continuerai a pagare per le eventuali risorse del cluster associate, come i dischi permanenti.
Note:
- Operazioni in esecuzione: se un cluster ha operazioni in esecuzione (ad esempio operazioni di aggiornamento o diagnostica), la richiesta di arresto non andrà a buon fine.
- Job in esecuzione: se un cluster ha job in esecuzione, la richiesta di arresto riuscirà, le VM verranno arrestate e i job in esecuzione non andranno a buon fine.
- Interrompi risposta: quando la richiesta di interruzione restituisce un'operazione di interruzione
all'utente o al chiamante nella risposta, il cluster sarà in stato
STOPPING
e non sarà consentito inviare ulteriori job (le richiesteSubmitJob
non verranno superate). - Scalabilità automatica: se arresti un cluster in cui è abilitata la scalabilità automatica, il gestore della scalabilità automatica di Dataproc interromperà la scalabilità del cluster. La scalabilità del cluster verrà ripristinata dopo il riavvio. Se abiliti la scalabilità automatica su un cluster arrestato, il criterio di scalabilità automatica avrà effetto solo dopo l'avvio del cluster.
Monitorare l'operazione di interruzione
Puoi eseguire gcloud dataproc operations describe operation-id
per monitorare l'operazione di arresto del cluster a lunga esecuzione. Puoi anche utilizzare il comando gcloud dataproc clusters describe cluster-name
per monitorare la transizione dello stato del cluster da RUNNING
a STOPPING
a STOPPED
.
Limitazioni
Non puoi interrompere:
- cluster con worker secondari
- cluster con ssd locali
Dopo l'arresto di un cluster, non puoi:
- aggiorna il cluster
- invia job al cluster
- di accedere ai blocchi note sul cluster utilizzando il gateway del componente Dataproc
Avvio di un cluster
Quando avvii un cluster arrestato, le eventuali azioni di inizializzazione non verranno eseguite nuovamente. Le azioni di inizializzazione vengono eseguite sui nodi del cluster solo quando il cluster viene creato e quando vengono aggiunti i nodi quando viene fatto lo scale up del cluster.
Una volta completata l'operazione di avvio, puoi inviare immediatamente job al cluster. Tuttavia, l'esecuzione di questi job può essere ritardata (circa 30 secondi) per consentire a HDFS e YARN di diventare operativi.
Usare Interrompi/Avvia
Puoi arrestare e avviare un cluster utilizzando gcloud CLI o l'API Dataproc.
Comando g-cloud
Arresta un cluster
gcloud dataproc clusters stop cluster-name \ --region=region
Avvia un cluster
gcloud dataproc clusters start cluster-name \ --region=region
API REST
Arresta un cluster
Invia una richiesta clusters.stop.
Avvia un cluster
Invia una richiesta clusters.start.
Console
Fai clic sul nome del cluster dalla pagina Cluster di Dataproc nella console Google Cloud, quindi fai clic su ARRESTA per arrestare e AVVIA per avviare il cluster.