Interromper e iniciar clusters do Dataproc

Depois de criar um cluster, será possível interrompê-lo e reiniciá-lo quando precisar dele. A interrupção de um cluster inativo evita a cobrança e evita ter de excluir um cluster inativo e criar um cluster com a mesma configuração posteriormente.

Observações sobre o recurso:

  • O recurso de iniciar/parar o cluster tem suporte apenas com as seguintes versões de imagem do Dataproc ou mais recentes:
    • 1.4.35-debian10/ubuntu18
    • 1.5.10-debian10/ubuntu18
    • 2.0.0-RC6-debian10/ubuntu18
  • Não é recomendável interromper os nós de cluster individuais porque o status de uma VM interrompida talvez não esteja sincronizado com o status do cluster e isso resulta em erros.

Como interromper um cluster

A interrupção de um cluster interrompe todas as VMs do cluster do Compute Engine. Você não paga por essas VMs enquanto elas estão interrompidas. No entanto, você continuará pagando por todos os recursos de cluster associados, como discos permanentes.

Observações:

  • Operações em execução: quando há operações em execução em um cluster, como de atualização ou diagnóstico, a solicitação de interrupção falha.
  • Jobs em execução: quando há jobs em execução em um cluster, a solicitação de parada é bem-sucedida, as VMs são interrompidas e ocorrem falhas nos jobs em execução.
  • Resposta de interrupção:quando a solicitação de parada retorna uma operação de parada ao usuário ou autor da chamada, o cluster está no estado STOPPING e nenhum outro job pode ser enviado, sendo que as solicitações em SubmitJob falham.
  • Escalonamento automático: quando você para um cluster com escalonamento automático ativado, o escalonador automático do Dataproc interrompe o escalonamento do cluster. Ele retoma esse escalonamento após a reinicialização do cluster. Quando o escalonamento automático está ativado em um cluster interrompido, a política de escalonamento automático só entra em vigor quando o cluster é iniciado.

Como monitorar a operação de interrupção

É possível executar gcloud dataproc operations describe operation-id para monitorar a operação de interrupção de cluster de longa duração. Também é possível usar o comando gcloud dataproc clusters describe cluster-name para monitorar a transição do status do cluster de RUNNING para STOPPING para STOPPED.

Limitações

Como iniciar um cluster

  • Quando você inicia um cluster interrompido, nenhuma ação de inicialização é executada novamente. As ações de inicialização são executadas apenas em nós do cluster quando o cluster é criado e quando os nós são adicionados quando o cluster é escalonado.

  • Após a conclusão da operação de início, será possível enviar jobs imediatamente ao cluster. No entanto, a execução desses jobs pode ser atrasada (aproximadamente 30 segundos) para permitir que o HDFS e o YARN entrem em operação.

Usar "Parar/Iniciar"

É possível interromper e iniciar um cluster usando a CLI gcloud ou a API Dataproc.

Comando gcloud

Interromper um cluster

gcloud dataproc clusters stop cluster-name \
    --region=region

Iniciar um cluster

gcloud dataproc clusters start cluster-name \
    --region=region

API REST

Interromper um cluster

Envie uma solicitação clusters.stop.

Iniciar um cluster

Envie uma solicitação clusters.start.

Console

Clique no nome do cluster no Dataproc. a página Clusters na Console do Google Cloud, clique em PARAR para interromper e em INICIAR para iniciar o cluster.