Envie uma tarefa do Spark através de um modelo

Esta página mostra como usar um modelo do Explorador de APIs Google para executar uma tarefa simples do Spark num cluster do Dataproc existente.

Para outras formas de enviar uma tarefa para um cluster do Dataproc, consulte:

Antes de começar

Antes de poder executar uma tarefa do Dataproc, tem de criar um cluster de uma ou mais máquinas virtuais (VMs) para a executar. Pode usar o APIs Explorer, a Google Cloud consola, a CLI gcloud gcloud, ferramenta de linha de comandos, ou os Inícios rápidos com as bibliotecas de cliente do Google Cloud para criar um cluster.

Envie um trabalho

Para enviar uma tarefa de Apache Spark de exemplo que calcula um valor aproximado de pi, preencha e execute o modelo Experimentar esta API do Google APIs Explorer.

  1. Parâmetros do pedido:

    1. Insira o seu projectId.
    2. Especifique a região onde o cluster está localizado (confirme ou substitua "us-central1"). A região do cluster é apresentada na página Clusters do Dataproc na Google Cloud consola.

  2. Corpo do pedido:

    1. job.placement.clusterName: O nome do cluster onde a tarefa vai ser executada (confirme ou substitua "example-cluster").
    2. job.sparkJob.args: "1000", o número de tarefas do trabalho.
    3. job.sparkJob.jarFileUris: "file:///usr/lib/spark/examples/jars/spark-examples.jar". Este é o caminho do ficheiro local no nó principal do cluster do Dataproc onde o JAR que contém o código do trabalho do Spark Scala está instalado.
    4. job.sparkJob.mainClass: "org.apache.spark.examples.SparkPi". Este é o método principal da aplicação Scala de cálculo de pi da tarefa.

  3. Clique em EXECUTE. Quando executar o modelo de API pela primeira vez, pode ser-lhe pedido que escolha e inicie sessão na sua Conta Google e, em seguida, autorize o Google APIs Explorer a aceder à sua conta. Se o pedido for bem-sucedido, a resposta JSON mostra que o pedido de envio de tarefas está pendente.

  4. Para ver o resultado da tarefa, abra a página Tarefas do Dataproc na Google Cloud consola e, de seguida, clique no ID da tarefa superior (mais recente). Clique em "QUEBRA DE LINHA" para ATIVAR e ver as linhas que excedem a margem direita.

    ...
Pi is roughly 3.141804711418047
...

Limpar

Para evitar incorrer em cobranças na sua Google Cloud conta pelos recursos usados nesta página, siga estes passos.

  1. Se não precisar do cluster para explorar os outros inícios rápidos ou executar outros trabalhos, use o APIs Explorer, a Google Cloud consola, a CLI gcloud, a ferramenta de linha de comandos gcloud ou as bibliotecas cliente da Google Cloud para eliminar o cluster.

O que se segue?