Crie um cluster do Dataproc através da Google Cloud consola

Esta página mostra como usar a Google Cloud consola para criar um cluster do Dataproc, executar uma tarefa básica do Apache Spark no cluster e, em seguida, modificar o número de trabalhadores no cluster.

Para seguir orientações passo a passo para esta tarefa diretamente na Google Cloud consola, clique em Orientar-me:

Visita guiada

Antes de começar

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  3. Verify that billing is enabled for your Google Cloud project.

  4. Enable the Dataproc API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Roles required to select or create a project

    • Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
    • Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

    Go to project selector

  6. Verify that billing is enabled for your Google Cloud project.

  7. Enable the Dataproc API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

    8.

Crie um cluster

  1. Na Google Cloud consola, aceda à página Dataproc Clusters.

    Aceda a Clusters

  2. Clique em Criar cluster.

  3. Na caixa de diálogo Criar cluster do Dataproc, clique em Criar na linha Cluster no Compute Engine.

  4. No campo Nome do cluster, introduza example-cluster.

  5. Nas listas Região e Zona, selecione uma região e uma zona.

    Selecione uma região (por exemplo, us-east1 ou europe-west1) para isolar recursos, como instâncias de máquinas virtuais (VMs) e localizações de armazenamento do Cloud Storage e de metadados que são usadas pelo Dataproc na região. Para mais informações, consulte Regiões e zonas disponíveis e Endpoints regionais.

  6. Para todas as outras opções, use as predefinições.

  7. Para criar o cluster, clique em Criar.

    O novo cluster é apresentado numa lista na página Clusters. O estado é Aprovisionamento até o cluster estar pronto a usar e, em seguida, o estado muda para Em execução. O aprovisionamento do cluster pode demorar alguns minutos.

Envie uma tarefa do Spark

Envie uma tarefa do Spark que estime um valor de Pi:

  1. No menu de navegação do Dataproc, clique em Tarefas.

  2. Na página Tarefas, clique em Enviar tarefa e, de seguida, faça o seguinte:

    1. No campo ID da tarefa, use a predefinição ou indique um ID que seja exclusivo do seu Google Cloud projeto.
    2. No menu pendente Cluster, selecione example-cluster.
    3. Em Tipo de serviço, selecione Spark.
    4. No campo Main class or jar, introduza org.apache.spark.examples.SparkPi.
    5. No campo Ficheiros JAR, introduza file:///usr/lib/spark/examples/jars/spark-examples.jar.

    6. No campo Arguments, introduza 1000 para definir o número de tarefas.

    7. Clique em Enviar.

      O seu trabalho é apresentado na página Detalhes do trabalho. O estado da tarefa é Em execução ou A iniciar e, em seguida, muda para Concluído após o envio.

      Para evitar deslocar a saída, clique em Quebra de linha: desativada. A saída é semelhante à seguinte:

      Pi is roughly 3.1416759514167594

      Para ver os detalhes da tarefa, clique no separador Configuração.

Atualize um cluster

Atualize o cluster alterando o número de instâncias de trabalho:

  1. No menu de navegação do Dataproc, clique em Clusters.
  2. Na lista de clusters, clique em example-cluster.

  3. Na página Detalhes do cluster, clique no separador Configuração.

    São apresentadas as definições do cluster.

  4. Clique em Editar.

  5. No campo Nós de trabalho, introduza 5.

  6. Clique em Guardar.

O seu cluster está agora atualizado. Para diminuir o número de nós de trabalho para o valor original, siga o mesmo procedimento.

Limpar

Para evitar incorrer em cobranças na sua Google Cloud conta pelos recursos usados nesta página, siga estes passos.

  1. Para eliminar o cluster, na página Detalhes do cluster de example-cluster, clique em Eliminar.
  2. Para confirmar que quer eliminar o cluster, clique em Eliminar.

O que se segue?