API Explorer クイックスタート - Spark ジョブの送信

このページでは、インライン Google API Explorer テンプレートを使用して、既存の Dataproc クラスタで簡単な Spark ジョブを実行する方法について説明します。Google Cloud Console を使用して同じタスクを行う方法については、コンソールを使用したクイックスタートで、コマンドラインを使用して同じタスクを行う方法については、クイックスタート: gcloud コマンドライン ツールの使用でそれぞれ説明しています。

始める前に

Dataproc ジョブを実行する前に、そのジョブを実行する仮想マシン（VM）のクラスタを作成する必要があります。クラスタを作成するには、API Explorer、Google Cloud Console、または Cloud SDK の gcloud コマンドライン ツールを使用します。

ジョブの送信

pi のおおよその値を計算するサンプルの Apache Spark ジョブを送信するには、次のように API Explorer テンプレートに入力して実行します。

  1. [projectID] 項目にプロジェクト ID（プロジェクト名）を入力します。
  2. 次の項目は自動的に入力されます。
    1. region = "us-central1"。別のリージョンでクラスタを作成した場合は、「us-central1」をクラスタのリージョン名に置き換えます（API Explorer - クラスタの作成を参照）。
    2. リクエストの本文の job.placement.clusterName = "example-cluster"。これは、ジョブが実行される Dataproc クラスタの名前です（前のクイックスタートで作成されています。API Explorer - クラスタの作成を参照）。名前が異なる場合は、作成したクラスタの名前でこの名前を置き換えます。
    3. リクエストの本文 job.sparkJob:
      1. args = "1000"。タスクの数。
      2. jarFileUris = "file:///usr/lib/spark/examples/jars/spark-examples.jar"。クラスタ内のマスター VM インスタンス上にプリインストールされている jar ファイルの場所。Spark Scala ジョブ コードが含まれます。
      3. mainClass = "org.apache.spark.examples.SparkPi"。ジョブが Scala アプリケーションの pi 計算で主に使用するメソッド。

  3. [実行] をクリックします。ダイアログが開き、デフォルトの https://www.googleapis.com/auth/cloud-platform スコープを確認するように求められます。ダイアログの [許可] をクリックして、リクエストをサービスに送信します。すぐに（通常、1 秒もかかりません）、example-cluster が保留中であることを示す JSON レスポンスが、テンプレートの下に表示されます。

Cloud Console の [クラスタ] に移動し、ジョブ ID のリンクをクリックすることで、ジョブの出力を調べることができます（行が右端を越えている場合は、[行の折り返し] ボックスを選択して行を見えるようにします）。

Google API Explorer を使用して、Apache Spark ジョブを Dataproc クラスタに送信しました。

次のステップ