Guia de início rápido sobre o uso do console

Esta página mostra como usar o Console do Google Cloud para criar um cluster do Dataproc, executar um job do Apache Spark simples no cluster e modificar o número de workers no cluster.

Saiba mais sobre essas tarefas com o Guia de início rápido sobre como usar o API Explorer e o Guia de início rápido sobre como usar a ferramenta de linha de comando gcloud.

Antes de começar

  1. Faça login na sua conta do Google Cloud. Se você começou a usar o Google Cloud agora, crie uma conta para avaliar o desempenho de nossos produtos em situações reais. Clientes novos também recebem US$ 300 em créditos para executar, testar e implantar cargas de trabalho.
  2. No Console do Google Cloud, na página do seletor de projetos, selecione ou crie um projeto do Google Cloud.

    Acessar o seletor de projetos

  3. Verifique se o faturamento está ativado para seu projeto na nuvem. Saiba como confirmar se o faturamento está ativado para o projeto.

  4. Ative a API Dataproc.

    Ative a API

Criar um cluster

  1. Acesse a página Clusters do Cloud Dataproc do Console do Cloud.
  2. Clique em Criar cluster.
  3. Insira example-cluster no campo Nome.
  4. Selecione uma região e uma zona para o cluster nos menus suspensos Região e Zona. Você pode selecionar uma região distinta, como us-east1 ou europe-west1, para isolar recursos (inclusive instâncias de VM e o Cloud Storage) e locais de armazenamento dos metadados usados pelo Dataproc na região especificada. Também é possível selecionar uma região global, que é um endpoint especial para várias regiões, capaz de implantar instâncias em qualquer zona especificada do Compute Engine. Consulte Endpoints regionais para saber mais sobre a diferença entre os endpoints globais e regionais. Consulte informações sobre a seleção de uma região e zona em Regiões e zonas disponíveis.
  5. Use os padrões fornecidos para todas as demais opções.
  6. Clique em Criar para criar o cluster.

O novo cluster é exibido na lista de clusters. O status do cluster é listado como "Em aprovisionamento" até que ele esteja pronto para uso, quando então o status passa a ser "Em execução".

Enviar um job

Para executar um job de exemplo do Spark:

  1. Selecione Jobs no painel de navegação esquerdo para alternar para a visualização de jobs do Dataproc.
  2. Clique em Enviar job.
  3. Aceite o código da tarefa ou forneça um, que precisa ser exclusivo no projeto.
  4. Selecione a Região do novo cluster de exemplo.
  5. Selecione example-cluster no menu suspenso Cluster.
  6. Selecione Spark no menu suspenso Tipo de job.
  7. Digite org.apache.spark.examples.SparkPi no campo Classe principal ou jar.
  8. Digite file:///usr/lib/spark/examples/jars/spark-examples.jar no campo Arquivos JAR.
  9. Digite 1000 no campo Argumentos para definir o número de tarefas.
  10. Clique em Enviar.

Seu job é exibido na lista de jobs, que mostra os jobs do seu projeto com os respectivos clusters, tipos e status atuais. O status do job é mostrado como "Em execução" e, depois que ele é concluído, como "Finalizado com sucesso". Para ver a saída do job concluído:

  1. Clique no código do job na lista de jobs.
  2. Selecione Quebra de linha para evitar a rolagem da tela.

Você verá que o seu job calculou com êxito um valor aproximado para pi!

Atualizar um cluster

Para alterar o número de instâncias de trabalho no cluster:

  1. Selecione Clusters no painel de navegação à esquerda para retornar à visualização de clusters do Cloud Dataproc.
  2. Clique em example-cluster na lista Clusters. Por padrão, a página exibe uma visão geral do uso de CPU do cluster.
  3. Clique em Configuração para mostrar as configurações atuais do cluster.
  4. Clique em Editar. Agora, o número de worker nodes estará editável.
  5. Digite 5 no campo Nós de trabalho.
  6. Clique em Save.

Seu cluster foi atualizado. É possível usar o mesmo procedimento para reduzir o número de worker nodes ao valor original:

Limpar

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados neste guia de início rápido, siga estas etapas:

  1. Na página Cluster de example-cluster, clique em Excluir para excluir o cluster. Você será solicitado a confirmar se quer excluir o cluster. Clique em OK.

Próximas etapas