Dopo aver creato un cluster, puoi arrestarlo e riavviarlo quando ne hai bisogno li annotino. L'arresto di un cluster inattivo evita addebiti evitando di dover eliminare un cluster inattivo per poi crearne uno con la stessa configurazione più avanti.
Note sulle funzionalità:
- La funzionalità di avvio/arresto del cluster è supportata solo con quanto segue
Versioni immagine Dataproc o successive:
- 1.4.35-debian10/ubuntu18
- 1.5.10-debian10/ubuntu18
- 2.0.0-RC6-debian10/ubuntu18
- L'arresto dei singoli nodi del cluster non è consigliato poiché lo stato una VM arrestata potrebbe non essere sincronizzata con lo stato del cluster, errori.
Arresto di un cluster
L'arresto di un cluster arresta tutte le VM di Compute Engine del cluster. Tu sì non pagheranno per queste VM mentre sono arrestate. Tuttavia, continuerai a pagare per a tutte le risorse del cluster associate, dischi permanenti.
Note:
- Operazioni in esecuzione: se in un cluster sono in esecuzione operazioni (come operazioni di aggiornamento o diagnostica), la richiesta di interruzione non andrà a buon fine.
- Job in esecuzione: se in un cluster sono in esecuzione job, la richiesta di arresto verrà una volta completata, le VM verranno arrestate e i job in esecuzione non andranno a buon fine.
- Interrompi risposta: quando la richiesta di interruzione restituisce un'operazione di interruzione al
utente o chiamante nella risposta, il cluster sarà in stato
STOPPING, e non sarà più consentito inviare altri job (SubmitJobrichieste verranno non riuscito). - Scalabilità automatica: se arresti un cluster che ha scalabilità automatica abilitata, il gestore della scalabilità automatica di Dataproc smetterà di scalare il cluster. Sarà e riprendi la scalabilità del cluster dopo averlo riavviato. Se attivi su un cluster arrestato, il criterio di scalabilità automatica verrà applicato una volta avviato il cluster.
Monitoraggio dell'operazione di arresto
Puoi eseguire
gcloud dataproc operations describe operation-id per monitorare
dell'arresto del cluster a lunga esecuzione. Puoi utilizzare anche
gcloud dataproc clusters describe cluster-name
per monitorare la transizione dello stato del cluster
Da RUNNING a STOPPING a STOPPED.
Limitazioni
Non puoi interrompere:
- cluster con lavoratori secondari
- cluster con ssds locali
Dopo l'arresto di un cluster, non puoi:
- aggiorna il cluster
- invia job al cluster
- per accedere ai blocchi note sul cluster utilizzando Gateway dei componenti Dataproc
Avvio di un cluster
Quando avvii un cluster arrestato, le azioni di inizializzazione non verranno eseguite di nuovo. Le azioni di inizializzazione vengono eseguite sui nodi del cluster solo quando il cluster e quando vengono aggiunti i nodi quando viene fatto lo scale up del cluster.
Una volta completata l'operazione di avvio, puoi inviare immediatamente i job al in un cluster Kubernetes. Tuttavia, l'esecuzione di questi job può essere ritardata (circa 30 secondi) per consentire a HDFS e YARN di diventare operativi.
Uso di Stop/Start
Puoi arrestare e avviare un cluster utilizzando gcloud CLI o l'API Dataproc.
Comando g-cloud
Arresta un cluster
gcloud dataproc clusters stop cluster-name \ --region=region
Avvia un cluster
gcloud dataproc clusters start cluster-name \ --region=region
API REST
Arresta un cluster
Invia un clusters.stop richiesta.
Avvia un cluster
Invia un clusters.start richiesta.
Console
Fai clic sul nome del cluster in Dataproc nella pagina Cluster Console Google Cloud, fai clic su INTERROMPI per arrestare e AVVIA per avviare il cluster.