Depois de criar um cluster, será possível interrompê-lo e reiniciá-lo quando precisar dele. A interrupção de um cluster inativo evita a cobrança e evita ter de excluir um cluster inativo e criar um cluster com a mesma configuração posteriormente.
Observações sobre o recurso:
- O recurso de iniciar/parar o cluster tem suporte apenas com as seguintes versões de imagem do
Dataproc ou mais recentes:
- 1.4.35-debian10/ubuntu18
- 1.5.10-debian10/ubuntu18
- 2.0.0-RC6-debian10/ubuntu18
- Não é recomendável interromper os nós de cluster individuais porque o status de uma VM interrompida talvez não esteja sincronizado com o status do cluster e isso resulta em erros.
Como interromper um cluster
A interrupção de um cluster interrompe todas as VMs do cluster do Compute Engine. Você não paga por essas VMs enquanto elas estão interrompidas. No entanto, você continuará pagando por todos os recursos de cluster associados, como discos permanentes.
Observações:
- Operações em execução: quando há operações em execução em um cluster, como de atualização ou diagnóstico, a solicitação de interrupção falha.
- Jobs em execução: quando há jobs em execução em um cluster, a solicitação de parada é bem-sucedida, as VMs são interrompidas e ocorrem falhas nos jobs em execução.
- Resposta de interrupção:quando a solicitação de parada retorna uma operação de parada ao
usuário ou autor da chamada,
o cluster está no estado
STOPPINGe nenhum outro job pode ser enviado, sendo que as solicitações emSubmitJobfalham. - Escalonamento automático: quando você para um cluster com escalonamento automático ativado, o escalonador automático do Dataproc interrompe o escalonamento do cluster. Ele retoma esse escalonamento após a reinicialização do cluster. Quando o escalonamento automático está ativado em um cluster interrompido, a política de escalonamento automático só entra em vigor quando o cluster é iniciado.
Como monitorar a operação de interrupção
É possível executar
gcloud dataproc operations describe operation-id para monitorar a
operação de interrupção de cluster de longa duração. Também é possível usar o comando
gcloud dataproc clusters describe cluster-name
para monitorar a transição do status do cluster de
RUNNING para STOPPING para STOPPED.
Limitações
Não é possível interromper:
- clusters com workers secundários
- clusters com ssds locais
Após a interrupção do cluster, não é possível:
- atualizar o cluster
- enviar jobs para o cluster
- acessar notebooks no cluster usando o gateway de componentes do Dataproc
Como iniciar um cluster
Quando você inicia um cluster interrompido, nenhuma ação de inicialização é executada novamente. As ações de inicialização são executadas apenas em nós do cluster quando o cluster é criado e quando os nós são adicionados quando o cluster é escalonado.
Após a conclusão da operação de início, será possível enviar jobs imediatamente ao cluster. No entanto, a execução desses jobs pode ser atrasada (aproximadamente 30 segundos) para permitir que o HDFS e o YARN entrem em operação.
Usar "Parar/Iniciar"
É possível interromper e iniciar um cluster usando a CLI gcloud ou a API Dataproc.
Comando gcloud
Interromper um cluster
gcloud dataproc clusters stop cluster-name \ --region=region
Iniciar um cluster
gcloud dataproc clusters start cluster-name \ --region=region
API REST
Interromper um cluster
Envie uma solicitação clusters.stop.
Iniciar um cluster
Envie uma solicitação clusters.start.
Console
Clique no nome do cluster na página Clusters do Dataproc no console do Google Cloud e, em seguida, clique em PARAR para interromper e INICIAR para iniciar o cluster.