Arresta e avvia i cluster Dataproc

Dopo aver creato un cluster, puoi interromperlo e riavviarlo quando necessario. L'arresto di un cluster inattivo evita addebiti evitando di dover eliminare un cluster inattivo per poi crearne uno con la stessa configurazione più avanti.

Note sulla funzionalità:

  • La funzionalità di avvio/arresto del cluster è supportata solo con quanto segue Versioni immagine Dataproc o successive:
    • 1.4.35-debian10/ubuntu18
    • 1.5.10-debian10/ubuntu18
    • 2.0.0-RC6-debian10/ubuntu18
  • L'arresto dei singoli nodi del cluster non è consigliato poiché lo stato una VM arrestata potrebbe non essere sincronizzata con lo stato del cluster, errori.

Arresto di un cluster

L'arresto di un cluster arresta tutte le VM di Compute Engine del cluster. Tu sì non pagheranno per queste VM mentre sono arrestate. Tuttavia, continuerai a pagare per tutte le risorse del cluster associate, ad esempio i dischi permanenti.

Note:

  • Operazioni in esecuzione: se in un cluster sono in esecuzione operazioni (come operazioni di aggiornamento o diagnostica), la richiesta di interruzione non andrà a buon fine.
  • Job in esecuzione: se in un cluster sono in esecuzione job, la richiesta di arresto verrà una volta completata, le VM verranno arrestate e i job in esecuzione non andranno a buon fine.
  • Interrompi risposta: quando la richiesta di interruzione restituisce un'operazione di interruzione al utente o chiamante nella risposta, il cluster sarà in stato STOPPING, e non sarà più consentito inviare altri job (SubmitJob richieste verranno non riuscito).
  • Scalabilità automatica: se interrompi un cluster per il quale è attivata la scalabilità automatica, il gestore della scalabilità automatica di Dataproc interromperà il ridimensionamento del cluster. Il riavvio del cluster riprenderà la scalabilità. Se attivi la scalabilità automatica su un cluster fermo, il criterio di scalabilità automatica verrà applicato solo dopo l'avvio del cluster.

Monitoraggio dell'operazione di arresto

Puoi eseguire gcloud dataproc operations describe operation-id per monitorare dell'arresto del cluster a lunga esecuzione. Puoi utilizzare anche gcloud dataproc clusters describe cluster-name per monitorare la transizione dello stato del cluster Da RUNNING a STOPPING a STOPPED.

Limitazioni

Avvio di un cluster

  • Quando avvii un cluster arrestato, le azioni di inizializzazione non verranno eseguite di nuovo. Le azioni di inizializzazione vengono eseguite sui nodi del cluster solo quando il cluster e quando vengono aggiunti i nodi quando viene fatto lo scale up del cluster.

  • Una volta completata l'operazione di avvio, puoi inviare immediatamente i job al in un cluster Kubernetes. Tuttavia, l'esecuzione di questi job può essere ritardata (circa 30 secondi) per consentire il funzionamento di HDFS e YARN.

Uso di Stop/Start

Puoi arrestare e avviare un cluster utilizzando gcloud CLI o l'API Dataproc.

Comando g-cloud

Interrompere un cluster

gcloud dataproc clusters stop cluster-name \
    --region=region

Avvia un cluster

gcloud dataproc clusters start cluster-name \
    --region=region

API REST

Arresta un cluster

Invia un clusters.stop richiesta.

Avvia un cluster

Invia un clusters.start richiesta.

Console

Fai clic sul nome del cluster nella pagina Cluster di Dataproc nella console Google Cloud, quindi fai clic su INTERRUPI per interrompere e AVVIA per avviare il cluster.