Escalonar clusters do Dataproc

Depois de criar um cluster do Cloud Dataproc, será possível ajustar ("escalonar") o cluster aumentando ou diminuindo o número de nós de trabalho principais ou secundários no cluster. Escalone um cluster do Cloud Dataproc a qualquer momento, mesmo quando houver jobs em execução no cluster. Não é possível alterar o tipo de máquina de um cluster atual (escalonamento vertical). Para escalonar verticalmente, crie um cluster usando um tipo de máquina com suporte e migre os jobs para o novo cluster.

Usar o escalonamento automático do Dataproc. Em vez de escalonar manualmente os clusters, ative o Escalonamento automático para que o Dataproc defina o número "certo" de workers para suas cargas de trabalho.

Por que escalonar um cluster do Dataproc?

1. Para aumentar o número de trabalhos e executar um job mais rapidamente
2. Para diminuir o número de trabalhos e economizar. Consulte Desativação otimizada como opção ao reduzir o tamanho de um cluster para evitar a perda do trabalho em andamento.
3. Para aumentar o número de nós e expandir o armazenamento disponível do Hadoop Distributed Filesystem (HDFS).

Observação: não é possível escalonar um cluster de nó único.

Como os clusters podem ser escalonados mais de uma vez, convém aumentar/diminuir o tamanho do cluster ao mesmo tempo e diminuir/aumentar o tamanho posteriormente.

Como remover workers: se você remover workers do cluster, verifique se o novo tamanho do cluster é suficiente para processar a carga de trabalho. Se não for, os jobs podem demorar mais para serem concluídos ou parar.

Como usar escalonamento

Há três maneiras de escalonar o cluster do Dataproc:

1. Usar o gcloud ferramenta de linha de comando na CLI gcloud.
2. Edite a configuração do cluster no console do Google Cloud.
3. Usar a REST API.

Os novos trabalhos adicionados a um cluster usarão o mesmo tipo de máquina dos trabalhos existentes. Por exemplo, se um cluster for criado com workers que usam o tipo de máquina n1-standard-8, os novos workers também usarão o tipo de máquina n1-standard-8.

Observação: o Dataproc não aceita alterar o tamanho do worker (vCPUs, memória, disco permanente) quando você adiciona workers a um cluster.

Escalone o número de trabalhos principais, secundários (preemptivos) ou ambos. Por exemplo, se você só escalonar o número de trabalhos preemptivos, o número de trabalhos principais permanecerá o mesmo.

gcloud

configuração da gcloud CLI:é preciso estabelecer e configurar a CLI gcloud para usar a Google Cloud CLI.

Para escalonar um cluster com gcloud dataproc clusters update, execute o comando a seguir.

gcloud dataproc clusters update cluster-name \
    --region=region \
    [--num-workers and/or --num-secondary-workers]=new-number-of-workers

em que cluster-name é o nome do cluster a ser atualizado e new-number-of-workers é o número atualizado de nós de trabalho primário e/ou secundário. Por exemplo, para escalonar um cluster chamado "dataproc-1" para usar cinco nós de trabalho principais, execute o comando a seguir.

gcloud dataproc clusters update dataproc-1 \
    --region=region \
    --num-workers=5
...
Waiting on operation [operations/projects/project-id/operations/...].
Waiting for cluster update operation...done.
Updated [https://dataproc.googleapis.com/...].
clusterName: my-test-cluster
...
  masterDiskConfiguration:
    bootDiskSizeGb: 500
  masterName: dataproc-1-m
  numWorkers: 5
  ...
  workers:
  - my-test-cluster-w-0
  - my-test-cluster-w-1
  - my-test-cluster-w-2
  - my-test-cluster-w-3
  - my-test-cluster-w-4
...

API REST

Consulte clusters.patch.

Exemplo

PATCH /v1/projects/project-id/regions/us-central1/clusters/example-cluster?updateMask=config.worker_config.num_instances,config.secondary_worker_config.num_instances
{
  "config": {
    "workerConfig": {
      "numInstances": 4
    },
    "secondaryWorkerConfig": {
      "numInstances": 2
    }
  },
  "labels": null
}

Deixe o Console criar a atualização do cluster solicitação.: Você pode clicar no link REST equivalente na parte parte inferior do Dataproc do console do Google Cloud Detalhes do cluster → página de configuração para ter no console, crie uma solicitação API REST PATCH equivalente.

Console

Após a criação de um cluster, é possível escaloná-lo Para isso, abra a página Detalhes do cluster pelo o console do Google Cloud Clusters, e clique no botão Edit no painel Configuration .

Informe um novo valor para o número de nós de trabalho e/ou nós de trabalho preemptivos (atualizados para "5" e "2", respectivamente, na captura de tela a seguir).

Clique em Salvar para atualizar o cluster.

Como o Dataproc seleciona os nós do cluster para remoção

Em clusters criados com versões de imagem 1.5.83+, 2.0.57+, e 2.1.5+, ao reduzir um cluster, o Dataproc tenta minimizar o impacto da remoção do nó na execução de aplicativos YARN, removendo primeiro nós inativos, não íntegros e ociosos e, em seguida, remover os nós com o menor número de mestres do aplicativo YARN em execução e contêineres em execução.

Desativação otimizada

Quando você diminui um cluster, o trabalho em andamento pode ser interrompido antes da conclusão. Se você usa Dataproc v1.2 ou posterior é possível usar a desativação otimizada, que incorpora Desativação otimizada dos nós YARN para concluir o trabalho em andamento em um worker antes de ser removido do ambiente cluster do Dataproc.

Observação: um worker não será removido de um cluster até os aplicativos YARN serem concluídos.

Desativação otimizada e trabalhos secundários

O grupo de trabalhos preemptivos (secundário) continuará provisionando ou excluindo trabalhos para alcançar o tamanho esperado mesmo após uma operação de escalonamento de cluster ser marcada como concluída. Se você tentar realizar a desativação otimizada em um worker secundário e receber uma mensagem de erro semelhante a esta:

"O grupo de workers secundários não pode ser modificado fora do Dataproc. Se você tiver criado ou atualizado este cluster recentemente, espere alguns minutos antes de fazer uma desativação otimizada. Dessa forma, todas as instâncias secundárias poderão ingressar no cluster ou sair dele. Tamanho esperado do grupo de worker secundário: x, tamanho real: y",

aguarde alguns minutos e repita a solicitação de desativação otimizada.

Além disso:

• Você pode desativar à força os trabalhos preemptivos a qualquer momento.
• Você desativa de modo otimizado os trabalhos principais a qualquer momento.

Como usar a desativação otimizada

A desativação otimizada do Dataproc incorpora Desativação otimizada dos nós YARN para concluir o trabalho em andamento em um worker antes de ser removido do Cloud cluster do Dataproc. Como padrão, a desativação otimizada fica desativada. Para ativá-la, você define um valor de tempo limite ao atualizar o cluster de modo a remover um ou mais trabalhadores do cluster.

gcloud

Ao atualizar um cluster para remover um ou mais workers, use o comando gcloud dataproc clusters update com a sinalização --graceful-decommission-timeout. Os valores de tempo limite (string) podem ser um valor de "0s" (o padrão, desativação à força, não otimizada) ou uma duração positiva em relação ao tempo atual (por exemplo, "3s"). A duração máxima é um dia.

Durações: especifique uma duração de desativação otimizada como um número inteiro não negativo com um dos seguintes sufixos minúsculos: "s", "m", "h" ou "d", significando segundos, minutos, horas ou dias, respectivamente. A duração máxima da desativação otimizada é "1d" (um dia). Se o sufixo for omitido, serão usados valores em segundo.

gcloud dataproc clusters update cluster-name \
    --region=region \
    --graceful-decommission-timeout="timeout-value" \
    [--num-workers and/or --num-secondary-workers]=decreased-number-of-workers \
    ... other args ...

API REST

Consulte clusters.patch.gracefulDecommissionTimeout. Os valores de tempo limite (string) podem ser um valor de "0" (o padrão, desativação de modo forçado, e não otimizado) ou uma duração em segundos (por exemplo, "3s"). A duração máxima é um dia.

Console

Após a criação de um cluster, é possível selecionar a desativação otimizada de um cluster abrindo a página Detalhes do cluster para ele de o console do Google Cloud Clusters, Depois clique no botão Edit no painel Configuration .

Na seção Desativação otimizada, marque a caixa "Usar desativação otimizada" e selecione um valor de tempo limite.

Clique em Salvar para atualizar o cluster.

Como cancelar uma operação de redução da escala vertical de desativação otimizada

Em clusters do Dataproc criados com versões de imagem 2.0.57+ ou 2.1.5+, é possível executar o comando gcloud dataproc operations cancel ou emitir uma solicitação operations.cancel da API Dataproc para cancelar uma operação de redução de escala de desativação.

Para conferir o nome do recurso, incluindo o ID, de uma operação de redução de escala, execute gcloud dataproc operations list ou emita uma solicitação operations.list da API Dataproc.

Quando você cancela uma operação de redução da escala vertical de desativação otimizada:

• Os workers em um estado DECOMMISSIONING são ativados novamente e se tornam ACTIVE após a conclusão do cancelamento da operação.

• se a operação de redução da escala incluir atualizações de rótulo, as atualizações pode não entrar em vigor.

.

Observação: o cancelamento de uma operação de redução da escala vertical é assíncrono. Dataproc. faz o possível para cancelar a operação, mas o sucesso do cancelamento só não há garantia.

Para verificar o status da solicitação de cancelamento, você pode executar gcloud dataproc operations describe ou emitir uma API Dataproc operations.get solicitação. Se a operação de cancelamento for bem-sucedida, o status da operação interna será marcado como CANCELLED.