Criar um cluster do Dataproc usando o Console do Cloud

Guia de início rápido: criar um cluster do Dataproc usando o Console do Cloud

Criar um cluster do Dataproc usando o Console do Cloud

Nesta página, mostramos como usar o Console do Google Cloud para criar um cluster do Dataproc, executar um job básico do Apache Spark e modificar o número de workers no cluster.

Antes de começar

1. Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.

2. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

   Observação: se você não pretende manter os recursos criados neste procedimento, crie um projeto novo em vez de selecionar um que já existe. Depois de concluir essas etapas, é possível excluir o projeto. Para fazer isso, basta remover todos os recursos associados a ele.

   Acessar o seletor de projetos

3. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

4. Ative a API Dataproc.

   Ative a API

5. No console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

   Observação: se você não pretende manter os recursos criados neste procedimento, crie um projeto novo em vez de selecionar um que já existe. Depois de concluir essas etapas, é possível excluir o projeto. Para fazer isso, basta remover todos os recursos associados a ele.

   Acessar o seletor de projetos

6. Verifique se a cobrança está ativada para o seu projeto do Google Cloud.

7. Ative a API Dataproc.

   Ative a API

Crie um cluster

1. No Console do Cloud, acesse a página Clusters do Dataproc.

   Acessar Clusters

2. Clique em Criar cluster.

3. No campo Nome do cluster, insira example-cluster.

4. Nas listas Região e Zona, selecione uma região e uma zona.

   É possível selecionar uma região específica (por exemplo, us-east1 ou europe-west1) para isolar recursos, como instâncias de máquina virtual (VM) e locais de armazenamento de metadados e do Cloud Storage, que são utilizados pelo Dataproc na região especificada. Também é possível selecionar global, que é um endpoint multirregional especial que é capaz de implantar instâncias em qualquer zona do Compute Engine especificada pelo usuário. Para mais informações, consulte Regiões e zonas disponíveis e Endpoints regionais.

5. Para todas as outras opções, use as configurações padrão.

6. Para criar o cluster, clique em Criar.

   Seu novo cluster aparece em uma lista na página Clusters. O status é Provisioning até que o cluster esteja pronto para uso e o status muda para Em execução. O provisionamento do cluster pode levar alguns minutos.

Enviar um job do Spark

Enviar um job do Spark que estima um valor de Pi:

1. No menu de navegação do Dataproc, clique em Jobs.

2. Na página Jobs, clique em Enviar job e faça o seguinte:

   1. No campo Cluster, clique em Procurar.
   2. Na linha que contém example-cluster, clique em Selecionar.
   3. No campo ID do job, use a configuração padrão ou forneça um ID exclusivo para seu projeto do Google Cloud.
   4. Em Tipo de job, selecione Spark.
   5. No campo Classe principal ou jar, digite org.apache.spark.examples.SparkPi.
   6. No campo Arquivos Jar, insira file:///usr/lib/spark/examples/jars/spark-examples.jar.

   7. No campo Argumentos, digite 1000 para definir o número de tarefas.

      Observação: o job do Spark estima o Pi usando o método de Monte Carlo (em inglês). Ele gera pontos x e y em um plano de coordenadas que modela um círculo cercado por um quadrado unitário. O argumento de entrada (1000) determina o número de pares x-y a serem gerados. Quanto mais pares gerados, maior a precisão da estimativa. Essa estimativa usa nós de trabalho do Dataproc para fazer o cálculo em paralelo. Para saber mais, consulte Como fazer a estimativa de Pi usando o método de Monte Carlo (em inglês) e JavaSparkPi.java no GitHub.

   8. Clique em Enviar.

      Seu job é exibido na página Detalhes do job. O status do job é Em execução ou Iniciando e ele muda para Concluído após o envio.

      Para evitar a rolagem na saída, clique em Quebra de linha: desativado. A saída é semelhante a esta:

      Pi is roughly 3.1416759514167594
      

      Para visualizar os detalhes do job, clique na guia Configuration.

Atualize um cluster

Atualize o cluster alterando o número de instâncias de worker:

1. No menu de navegação, clique em Clusters.
2. Na lista de clusters, clique em example-cluster.

3. Na página Detalhes do cluster, clique na guia Configuração.

   As configurações do cluster serão exibidas.

4. Clique em Editar.

5. No campo Nós de trabalho, insira 5.

6. Clique em Salvar.

Seu cluster foi atualizado. Para diminuir o número de nós de trabalho ao valor original, siga o mesmo procedimento.

Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados nesta página, siga estas etapas:

1. Na página Detalhes do cluster de example-cluster, clique em Excluir para excluir o cluster.
2. Para confirmar a exclusão do cluster, clique em Excluir.

A seguir

• Teste este guia de início rápido usando outras ferramentas:
  • Usar o APIs Explorer.
  • Usar a CLI do Google Cloud.
• Saiba como criar regras de firewall robustas ao criar um projeto.
• Aprenda a escrever e executar um job do Scala.
• Saiba como usar o Dataproc Hub para executar um notebook do Jupyter no Dataproc.