Guia de início rápido do API Explorer: enviar um job do Spark

Nesta página, mostramos como usar um modelo inline do Google APIs Explorer para excluir um job do Spark simples em um cluster do Cloud Dataproc atual. Se preferir, aprenda essas tarefas usando o Console do Google Cloud Platform no Guia de início rápido sobre como usar o Console ou a linha de comando no Guia de início rápido sobre como usar a ferramenta de linha de comando gcloud.

Antes de começar

Para executar um job do Cloud Dataproc, crie um cluster de máquinas virtuais (VMs, na sigla em inglês) para executá-lo. Use o APIs Explorer, o Console do Google Cloud Platform ou a ferramenta de linha de comando gcloud do SDK do Cloud para criar um cluster.

Enviar um job

Para enviar um job de exemplo do Apache Spark que calcula um valor aproximado para pi, preencha e execute o modelo do API Explorer abaixo conforme descrito a seguir:

  1. Digite o código do projeto (nome do projeto) no campo projectID.
  2. Os seguintes campos são preenchidos automaticamente:
    1. region = global, ou seja, a região padrão quando um cluster do Cloud Dataproc é criado. Um namespace especial para várias regiões, capaz de implantar instâncias em todas as zonas do Compute Engine globalmente quando o cluster do Cloud Dataproc é criado. Se você criou seu cluster (consulte APIs Explorer: criar um cluster) em uma região diferente, substitua "global" pelo nome da região do seu cluster.
    2. Corpo da solicitação job.placement.clusterName = "example-cluster". Este é o nome do cluster do Cloud Dataproc em que o job será executado. Ele foi criado nas etapas de início rápido anteriores. Consulte APIs Explorer - Criar um cluster. Substitua esse nome pelo do cluster, caso ele seja diferente.
    3. Corpo da solicitação job.sparkJob:
      1. args = "1000". O número de tarefas.
      2. jarFileUris = "file:///usr/lib/spark/examples/jars/spark-examples.jar". O local do arquivo jar pré-instalado na instância de VM mestre do cluster que contém o código do job do Spark Scala.
      3. mainClass = "org.apache.spark.examples.SparkPi". O método principal do aplicativo que calcula o pi do job do Scala.
  3. Clique em EXECUTAR. Uma caixa de diálogo solicitará a confirmação do escopo padrão https://www.googleapis.com/auth/cloud-platform. Clique em PERMITIR para enviar a solicitação ao serviço. Depois de menos de um segundo (em geral), a resposta de JSON mostrando que o cluster de exemplo está pendente é exibida abaixo do modelo.

Inspecione a saída do job ao acessar Console do GCP - Clusters e depois clicar no link "Código do job". Selecione a caixa "Quebra de linha" para visualizar as linhas que ultrapassam a margem direita.

Parabéns! Você usou o Google APIs Explorer para enviar um job do Apache Spark para um cluster do Cloud Dataproc.

A seguir

Esta página foi útil? Conte sua opinião sobre:

Enviar comentários sobre…

Documentação do Cloud Dataproc
Precisa de ajuda? Acesse nossa página de suporte.