テンプレートを使用して Spark ジョブを送信する

このページでは、Google API Explorer テンプレートを使用して、既存の Dataproc クラスタで簡単な Spark ジョブを実行する方法について説明します。

Dataproc クラスタにジョブを送信するその他の方法については、次に挙げるページをご覧ください。

準備

Dataproc ジョブを実行する前に、ジョブを実行する仮想マシン（VM）のクラスタを 1 つ以上作成する必要があります。API Explorer、Google Cloud Console、 CLI の gcloud コマンドライン ツール、またはCloud クライアント ライブラリ を使用したクイックスタートを使用してクラスタを作成できます。

ジョブの送信

円周率の近似値を計算するサンプルの Apache Spark ジョブを送信するには、Google API Explorer の [Try this API] テンプレートに入力します。

  1. リクエストのパラメータ:

    1. プロジェクト ID を挿入します。
    2. クラスタが配置されるリージョンを指定します（「us-central1」を確認または置き換えます）。クラスタのリージョンは、Cloud Console の Dataproc の [クラスタ] ページに表示されます。

  2. リクエストの本文:

    1. job.placement.clusterName: ジョブを実行するクラスタの名前（「example-cluster」を必要に応じて置き換えます）。
    2. job.sparkJob.args: 1000（ジョブタスクの数）
    3. job.sparkJob.jarFileUris: "file:///usr/lib/spark/examples/jars/spark-examples.jar". これは、Spark Scala ジョブコードを含む jar がインストールされている Dataproc クラスタのマスターノード上のローカル ファイルパスです。
    4. job.sparkJob.mainClass: 「org.apache.spark.examples.SparkPi」。この値は、ジョブの円周率計算 Scala アプリケーションのメインメソッドです。

  3. [実行] をクリックします。API テンプレートを初めて実行する場合、Google アカウントを選択してログインし、Google API Explorer からアカウントへのアクセスを承認するよう求められます。リクエストが成功すると、ジョブ送信リクエストが保留中であることがJSON レスポンスに表示されます。

  4. ジョブ出力を表示するには、Cloud Console で [Dataproc ジョブ] ページを開き、一番上（最新）のジョブ ID をクリックします。右マージンを超える行を表示するには [行の折り返し] をクリックします。

    ...
Pi is roughly 3.141804711418047
...

クリーンアップ

このページで使用したリソースについて、Google Cloud アカウントに課金されないようにするには、次の手順を行います。

  1. 他のクイックスタートの確認や、他のジョブを実行するためのクラスタが必要ない場合は、API Explorer、Google Cloud Console、gcloud CLI の gcloud コマンドライン ツール、または Cloud クライアント ライブラリを使用したクイックスタートを使用してクラスタを削除できます。

次のステップ