API Explorer クイックスタート - Spark ジョブの送信

このページでは、インライン Google API Explorer テンプレートを使用して、既存の Cloud Dataproc クラスタで簡単な Spark ジョブを実行する方法を示します。同じタスクを、Google Cloud Platform Console を使用して行う方法については Console を使用したクイックスタートで、コマンドラインを使用して行う方法については gcloud コマンドライン ツールを使用したクイックスタートでそれぞれ説明しています。

始める前に

Cloud Dataproc ジョブを実行する前に、ジョブを実行する仮想マシン（VM）のクラスタを作成する必要があります。クラスタの作成には、API Explorer、Google Cloud Platform Console、Cloud SDK の gcloud コマンドライン ツールを使用できます。

ジョブの送信

pi のおおよその値を計算するサンプルの Apache Spark ジョブを送信するには、次のように API Explorer テンプレートに入力して実行します。

1. projectID 項目にプロジェクト ID（プロジェクト名）を入力します。
2. 次の項目は自動的に入力されます。
   1. region = "global"。global は Cloud Dataproc クラスタの作成時のデフォルトのリージョンです。これは特別なマルチリージョンの名前空間であり、すべての Compute Engine にインスタンスをグローバルにデプロイできます。別のリージョンにクラスタを作成した場合は（API Explorer - クラスタの作成を参照）、「global」をクラスタのリージョンの名前に置き換えます。
   2. リクエストの本文の job.placement.clusterName =「example-cluster」。これは、Cloud Dataproc クラスタの名前です（前回のクイックスタートで作成されました。API Explorer - クラスタの作成を参照）。ここでジョブが実行されます。名前が異なる場合は、作成したクラスタの名前でこの名前を置き換えます。
   3. リクエストの本文の job.sparkJob:
      1. args =「1000」。タスクの数。
      2. jarFileUris =「file:///usr/lib/spark/lib/spark-examples.jar」。クラスタのマスター VM インスタンスに事前にインストールされている jar ファイルの場所で、このファイルに Spark Scala ジョブコードが含まれています。
      3. mainClass =「org.apache.spark.examples.SparkPi」。ジョブが Scala アプリケーションの pi 計算で主に使用するメソッド。

3. [実行] をクリックします。ダイアログが開き、デフォルトの https://www.googleapis.com/auth/cloud-platform スコープを確認するように求められます。ダイアログの [許可] をクリックして、リクエストをサービスに送信します。すぐに（通常、1 秒もかかりません）、example-cluster が保留中であることを示す JSON レスポンスがテンプレートの下に表示されます。

GCP Console の [クラスタ] に移動し、ジョブ ID のリンクをクリックすることで、ジョブの出力を調べることができます（行が右端を越えている場合は、[行の折り返し] ボックスを選択して行を見えるようにします）。

これで、Google API Explorer を使用して Apache Spark ジョブを Cloud Dataproc クラスタに送信しました。

次のステップ

• クラスタを更新する。