Enviar um job do Sparks usando um modelo

Enviar um job do Sparks usando um modelo

Nesta página, mostramos como usar um modelo do APIs Explorer do Google para executar um job simples do Spark em um cluster atual do Dataproc.

Para outras maneiras de enviar um job para um cluster do Dataproc, consulte:

• Guia de início rápido para uso do console
• Guia de início rápido sobre o uso da CLI do Google Cloud
• Guias de início rápido usando as bibliotecas de cliente do Cloud

Antes de começar

Antes de executar um job do Dataproc, é preciso criar um cluster de uma ou mais máquinas virtuais (VMs) para executá-lo. É possível usar o APIs Explorer, o Console do Google Cloud, a ferramenta de linha de comando gcloud da CLI gcloud ou os Guias de início rápido usando as bibliotecas de cliente do Cloud para criar um cluster.

Enviar um job

Para enviar um job de amostra do Apache Spark que calcula um valor aproximado para pi, preencha e execute o modelo do Google APIs Explorer Try this API.

Observação: os valores dos parâmetros region, clusterName e job são preenchidos por você. Confirme ou substitua os valores de parâmetro region e clusterName para corresponder à região e ao nome do cluster. Os valores do parâmetro job são necessários para executar um job do Spark pré-instalado no nó do cluster do Dataproc.

1. Parâmetros de solicitação:

   1. Insira seu projectId.
   2. Especifique a região em que o cluster está localizado (confirme ou substitua "us-central1"). A região do seu cluster está listada na página Clusters do Dataproc no Console do Cloud.

2. Corpo da solicitação:

   1. job.placement.clusterName: o nome do cluster em que o job será executado (confirme ou substitua "example-cluster").
   2. job.sparkJob.args: "1000", o número de tarefas de job.
   3. job.sparkJob.jarFileUris: "file:///usr/lib/spark/examples/jars/spark-examples.jar". Este é o caminho do arquivo local no nó mestre do cluster do Dataproc em que o jar que contém o código do job do Spark Scala está instalado.
   4. job.sparkJob.mainClass: "org.apache.spark.examples.SparkPi". É o principal método para o aplicativo Scala de cálculo de pi do job.

3. Clique em EXECUTE. Na primeira vez que você executar o modelo da API, talvez seja necessário escolher e fazer login na sua Conta do Google e, em seguida, autorizar o Google APIs Explorer a acessar sua conta. Se a solicitação for bem-sucedida, a resposta JSON mostrará que a solicitação de envio de job está pendente.

4. Para ver a saída do job, abra a página Jobs do Dataproc no Console do Cloud e clique no ID do job superior (mais recente). Clique em "LINE WRAP" para ativar para mostrar as linhas que excedem a margem direita.

   ...
   Pi is roughly 3.141804711418047
   ...
   

Limpeza

Para evitar cobranças na sua conta do Google Cloud pelos recursos usados nesta página, siga estas etapas:

1. Se você não precisar do cluster para explorar os outros guias de início rápido ou executar outros jobs, use o APIs Explorer, o Console do Google Cloud, a ferramenta de linha de comando gcloud da CLI gcloud ou os guias de início rápido usando as bibliotecas de cliente do Cloud para excluir o cluster.

Próximas etapas

• Atualizar um cluster.