Esta página foi traduzida pela API Cloud Translation.
Switch to English

Guia de início rápido do API Explorer: enviar um job do Spark

Esta página mostra como usar um modelo do APIs Explorer do Google para executar um job simples do Spark em um cluster do Dataproc existente.

Para outras maneiras de enviar um job para um cluster do Dataproc, consulte:

Antes de começar

Antes de executar um job do Dataproc, é preciso criar um cluster de uma ou mais máquinas virtuais (VMs) para executá-lo. É possível usar a APIs Explorer , o Console do Google Cloud , o SDK do Cloud gcloud ferramenta de linha de comando ou oGuias de início rápido: como usar as bibliotecas de cliente do Cloud para criar um cluster.

Envie um job

Para enviar uma amostraApache Spark job que calcula um valor aproximado parapi, preencha e execute o Google APIs ExplorerTeste esta API modelo.

  1. Parâmetros de solicitação:

    1. Insira seu projectId.
    2. Especifique a região em que o cluster está localizado. Confirme ou substitua "us-central1". A região do cluster está listada na página Clusters do Dataproc no Console do Cloud.
  2. Corpo da solicitação:

    1. job.placement.clusterName: o nome do cluster em que o job será executado (confirme ou substitua "example-cluster").
    2. job.sparkJob.args: "1000", o número de tarefas do job.
    3. job.sparkJob.jarFileUris: "file:///usr/lib/spark/examples/jars/spark-examples.jar". Este é o caminho do arquivo local no nó mestre do cluster do Dataproc em que o jar que contém o código do job do Spark Scala está instalado.
    4. job.sparkJob.mainClass: "org.apache.spark.examples.SparkPi". O método principal do aplicativo Scala de cálculo de pi do job.
  3. Clique em EXECUTAR. Na primeira vez que você executar o modelo da API, poderá ser necessário escolher e fazer login na sua Conta do Google e, em seguida, autorizar o Google APIs Explorer a acessar sua conta. Se a solicitação for bem-sucedida, a resposta JSON mostrará que a solicitação de envio do job está pendente.

  4. Para visualizar a saída do job, abra a página Jobs do Dataproc no Console do Cloud e clique no ID do job superior (mais recente). Selecione "LINE WRAP" como ON para exibir as linhas que excedem a margem direita.

    ...
    Pi is roughly 3.141804711418047
    ...
    

Limpeza

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados neste guia de início rápido, siga estas etapas:

  1. Se você não precisar que o cluster explore os outros guias de início rápido ou para executar outros jobs, use o APIs Explorer, o Console do Google Cloud, a ferramenta de linha de comando gcloud do SDK do Cloud ou os Guias de início rápido sobre como usar bibliotecas de cliente do Cloud para excluir o cluster.

A seguir