Atualizar um cluster do Dataproc usando um modelo

Guia de início rápido: atualizar um cluster do Dataproc usando um modelo

Atualizar um cluster do Dataproc usando um modelo

Nesta página, mostramos como usar um modelo do APIs Explorer do Google para atualizar um cluster do Dataproc para alterar o número de workers em um cluster. Escalonar um cluster para incluir mais workers é uma tarefa comum quando workers extras são necessários para processar jobs maiores.

Para outras formas de atualizar um cluster para um cluster do Dataproc, consulte:

• Guia de início rápido sobre como usar o console
• Guia de início rápido sobre o uso da CLI do Google Cloud
• Guias de início rápido usando as bibliotecas de cliente do Cloud

Antes de começar

Neste guia de início rápido, é presumido que você já tenha criado um cluster do Dataproc. É possível usar o APIs Explorer, o Console do Google Cloud, a ferramenta de linha de comando gcloud da CLI gcloud ou os Guias de início rápido usando as bibliotecas de cliente do Cloud para criar um cluster.

Atualizar um cluster

Para atualizar o número de workers no cluster, preencha e execute o modelo Testar esta API do Google APIs Explorer.

Observação: os valores de parâmetro region, clusterName, updateMask e config.workerConfig.numInstances são preenchidos para você. Confirme ou substitua os valores de parâmetro region e clusterName para corresponder à região e ao nome do cluster. O valor do parâmetro updateMask é necessário para atualizar o número de workers no cluster. É possível aceitar ou alterar o valor do parâmetro config.workerConfig.numInstances.

1. Parâmetros de solicitação:

   1. Insira seu projectId.
   2. Especifique a região em que o cluster está localizado (confirme ou substitua "us-central1"). A região do seu cluster está listada na página Clusters do Dataproc no Console do Cloud.
   3. Especifique o clusterName do cluster que você está atualizando (confirme ou substitua "example-cluster").
   4. updateMask: "config.worker_config.num_instances". Esse é o CAMINHO JSON relacionado ao recurso Cluster para o parâmetro numInstances que será atualizado (consulte as instruções do corpo da solicitação).

2. Corpo da solicitação:

   1. config.workerConfig.numInstances: ("3": o novo número de workers). Altere esse valor para adicionar menos ou mais workers. Por exemplo, se o cluster padrão tiver o número padrão de dois workers, especificar ""3&quot" adicionará um worker. Especificar ""4" adicionará 2. Um cluster padrão do Dataproc precisa ter pelo menos dois workers.

3. Clique em EXECUTE. Na primeira vez que você executar o modelo da API, talvez seja necessário escolher e fazer login na sua Conta do Google e, em seguida, autorizar o Google APIs Explorer a acessar sua conta. Se a solicitação for bem-sucedida, a resposta JSON mostrará que a atualização do cluster está pendente.

4. Para confirmar se o número de workers no cluster foi atualizado, abra a página Clusters do Dataproc no Console do Cloud e veja a coluna Total de nós de trabalho do cluster. Talvez seja necessário clicar em ATUALIZAR na parte superior da página para ver o valor atualizado após a conclusão da atualização do cluster.

Limpeza

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados nesta página, siga estas etapas:

1. Se você não precisar do cluster para explorar os outros guias de início rápido ou executar outros jobs, use o APIs Explorer, o Console do Google Cloud, a ferramenta de linha de comando gcloud da CLI gcloud ou os guias de início rápido usando as bibliotecas de cliente do Cloud para excluir o cluster.

Próximas etapas

• Use esse modelo de início rápido para restaurar o cluster para o valor workerConfig.numInstances anterior.

• Saiba como escrever e executar um job do Scala.