Guia de início rápido sobre como usar o console

Esta página mostra como usar o Console do Google Cloud Platform para criar um cluster do Cloud Dataproc, executar um job do Apache Spark simples no cluster e modificar o número de trabalhos no cluster.

Saiba mais sobre essas tarefas com o Guia de início rápido sobre como usar o API Explorer e o Guia de início rápido sobre como usar a ferramenta de linha de comando gcloud.

Antes de começar

  1. Faça login na sua Conta do Google.

    Se você ainda não tiver uma, inscreva-se.

  2. Selecione ou crie um projeto do Google Cloud Platform.

    Acessar a página Gerenciar recursos

  3. Verifique se o faturamento foi ativado no projeto do Google Cloud Platform.

    Saiba como ativar o faturamento

  4. Ativar Cloud Dataproc API.

    Ativar a API

Criar um cluster

  1. Acesse a página Clusters do Cloud Dataproc do Console do GCP.
  2. Clique em Criar cluster.
  3. Insira example-cluster no campo Nome.
  4. Selecione uma região e uma zona para o cluster nos menus suspensos Região e Zona. A região global e a zona us-central1-a são mostradas selecionadas, abaixo. A região global é o padrão. Este é um endpoint de várias regiões especial capaz de implantar instâncias em qualquer zona do Compute Engine especificada pelo usuário. Também especifique regiões distintas, como us-east1 ou europe-west1, para isolar recursos, inclusive instâncias de VM e do Cloud Storage, e locais para armazenamento de metadados utilizados pelo Cloud Dataproc dentro da região especificada pelo usuário. Consulte Endpoints regionais para saber mais sobre a diferença entre os endpoints globais e regionais. Consulte informações sobre a seleção de uma região em Regiões e zonas disponíveis. Também execute o comando gcloud compute regions list para ver uma listagem de regiões disponíveis.
  5. Use os padrões fornecidos para todas as demais opções.

  6. Clique em Criar para criar o cluster.

O novo cluster é exibido na lista de clusters. O status do cluster é listado como "Em aprovisionamento" até que ele esteja pronto para uso, quando então o status passa a ser "Em execução".

Enviar um job

Para executar um job de exemplo do Spark:

  1. Selecione Jobs no painel de navegação esquerdo para alternar para a visualização de jobs do Dataproc.
  2. Clique em Enviar job.
  3. Selecione o novo cluster example-cluster no menu suspenso Cluster.
  4. Selecione Spark no menu suspenso Tipo de job.
  5. Digite file:///usr/lib/spark/examples/jars/spark-examples.jar no campo Arquivo Jar.
  6. Digite org.apache.spark.examples.SparkPi no campo Classe principal ou jar.
  7. Digite 1000 no campo Argumentos para definir o número de tarefas.
  1. Clique em Enviar.

Seu job é exibido na lista de jobs, que mostra os jobs do seu projeto com os respectivos clusters, tipos e status atuais. O status do job é mostrado como "Em execução" e, depois que ele é concluído, como "Finalizado com sucesso". Para ver a saída do job concluído:

  1. Clique no código do job na lista de jobs.
  2. Selecione Quebra de linha para evitar a rolagem da tela.

Você verá que o seu job calculou com êxito um valor aproximado para pi!

Atualizar um cluster

Para alterar o número de instâncias de trabalho no cluster:

  1. Selecione Clusters no painel de navegação à esquerda para retornar à visualização de clusters do Cloud Dataproc.
  2. Clique em example-cluster na lista Clusters. Por padrão, a página exibe uma visão geral do uso de CPU do cluster.
  3. Clique em Configuração para mostrar as configurações atuais do cluster.
  4. Clique em Edit. Agora, o número de worker nodes estará editável.
  5. Digite 5 no campo Nós de trabalho.
  6. Clique em Salvar.

Seu cluster foi atualizado. É possível usar o mesmo procedimento para reduzir o número de worker nodes ao valor original:

Limpar

Para evitar cobranças na conta do GCP pelo uso de recursos neste guia de início rápido:

  1. Na página Cluster de example-cluster, clique em Excluir para excluir o cluster. Você será solicitado a confirmar se quer excluir o cluster. Clique em OK.
  2. Use o comando a seguir para remover também todos os intervalos do Cloud Storage criados pelo cluster:
    gsutil rm gs://bucket/subdir/**
    

Próximas etapas

Esta página foi útil? Conte sua opinião sobre:

Enviar comentários sobre…

Documentação do Cloud Dataproc
Precisa de ajuda? Acesse nossa página de suporte.