Enviar um job do Spark usando um modelo
Nesta página, mostramos como usar um modelo das APIs Explorer do Google para executar um job simples do Spark em um cluster atual do Dataproc.
Para conhecer outras maneiras de enviar um job a um cluster do Dataproc, veja:
Antes de começar
Antes de executar um job do Dataproc, é preciso criar um cluster de uma ou mais VMs que ele será executado. Você pode usar o APIs Explorer, a Console do Google Cloud, a CLI gcloud a ferramenta de linha de comando gcloud, ou os Guias de início rápido sobre como usar as bibliotecas de cliente do Cloud para criar um cluster.Envie um job
Para enviar um exemplo do Apache Spark job que calcula um valor bruto para pi, preencher e execute o modelo Testar a API do APIs Explorer do Google.
Parâmetros de solicitação:
Corpo da solicitação:
- job.placement.clusterName: o nome do cluster em que o job será executado (confirme ou substitua "example-cluster").
- job.sparkJob.args: "1.000", o número de tarefas do job.
- job.sparkJob.jarFileUris: "file:///usr/lib/spark/examples/jars/spark-examples.jar". Esse é o caminho do arquivo local no nó mestre do cluster do Dataproc em que está instalado o jar com o código do job do Spark Scala.
- job.sparkJob.mainClass: "org.apache.spark.examples.SparkPi". É o principal método do aplicativo Scala de cálculo do pi do job.
Clique em EXECUTAR. Na primeira vez que você executar o modelo da API, talvez receba solicitação para escolher, fazer login na Conta do Google e autorizar o acesso ao Google APIs Explorer. Se a solicitação for bem-sucedida, a resposta JSON vai mostrar que a solicitação de envio de job está pendente.
Para conferir a saída do job, abra a página Jobs do Dataproc no console do Google Cloud e clique no ID do job superior (mais recente). Clique em LINE WRAP para ativar e ver as linhas que ultrapassam a margem direita.
... Pi is roughly 3.141804711418047 ...
Limpar
Para evitar cobranças na conta do Google Cloud pelos recursos usados nesta página, siga estas etapas.
- Se você não precisar do cluster para explorar os outros guias de início rápido ou executar outros jobs, ele pode ser excluído com a APIs Explorer, o Console do Google Cloud, a ferramenta de linha de comando gcloud do gcloud CLI ou as Bibliotecas de cliente do Cloud.