Atualizar um cluster do Dataproc usando um modelo

Nesta página, mostramos como usar um modelo do APIs Explorer do Google para atualizar um cluster do Dataproc a fim de alterar o número de workers em um cluster. Escalonar um cluster para incluir mais workers é uma tarefa comum quando workers extras são necessários para processar jobs maiores.

Para conhecer outras formas de atualizar um cluster do Dataproc, acesse:

Antes de começar

Este guia de início rápido supõe que você já tenha criado um cluster do Dataproc. Para criar um cluster, use o APIs Explorer, o Console do Google Cloud, a ferramenta de linha de comando gcloud da CLI gcloud ou os guias de início rápido sobre como usar as bibliotecas de cliente do Cloud.

atualizar um cluster

Para atualizar o número de workers no cluster, preencha e execute o modelo Testar esta API do APIs Explorer do Google.

  1. Parâmetros de solicitação:

    1. Insira seu projectId.
    2. Especifique a região em que o cluster está localizado (confirme ou substitua "us-central1"). A região do cluster é listada na página Clusters do Dataproc no console do Google Cloud.
    3. Especifique o clusterName do cluster que você está atualizando (confirme ou substitua "example-cluster").
    4. updateMask: "config.worker_config.num_instances". Esse é o CAMINHO JSON relacionado ao recurso Cluster para o parâmetro numInstances que será atualizado (consulte as instruções do corpo da solicitação).

  2. Corpo da solicitação:

    1. config.workerConfig.numInstances: ("3": o novo número de workers. Altere esse valor para adicionar menos ou mais workers. Por exemplo, se o cluster padrão tiver o número padrão de dois workers, especificar "3" adicionará um worker. especificar "4 adicionará 2". Um cluster padrão do Dataproc precisa ter pelo menos dois workers.

  3. Clique em EXECUTAR. Na primeira vez que você executar o modelo da API, talvez receba solicitação para escolher, fazer login na Conta do Google e autorizar o acesso ao Google APIs Explorer. Se a solicitação for bem-sucedida, a resposta JSON vai mostrar que a atualização do cluster está pendente.

  4. Para confirmar se o número de workers no cluster foi atualizado, abra a página Clusters do Dataproc no console do Google Cloud e confira a coluna Total de nós de trabalho do cluster. Talvez seja necessário clicar em ATUALIZAR na parte superior da página para ver o valor atualizado após a conclusão da atualização do cluster.

Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados nesta página, siga estas etapas.

  1. Se você não precisar que o cluster explore os outros guias de início rápido ou execute outros jobs, use o APIs Explorer, o Console do Google Cloud, a ferramenta de linha de comando gcloud da CLI gcloud ou os Guias de início rápido usando as bibliotecas de cliente do Cloud para excluir o cluster.

A seguir