API Explorer クイックスタート - Spark ジョブの送信

このページでは、インライン Google API Explorer テンプレートを使用して、既存の Cloud Dataproc クラスタで簡単な Spark ジョブを実行する方法を示します。同じタスクを、Google Cloud Platform Console を使用して行う方法については Console を使用したクイックスタートで、コマンドラインを使用して行う方法については gcloud コマンドライン ツールを使用したクイックスタートでそれぞれ説明しています。

始める前に

Cloud Dataproc ジョブを実行する前に、ジョブを実行する仮想マシン(VM)のクラスタを作成する必要があります。クラスタの作成には、API ExplorerGoogle Cloud Platform Console、Cloud SDK の gcloud コマンドライン ツールを使用できます。

ジョブの送信

pi のおおよその値を計算するサンプルの Apache Spark ジョブを送信するには、次のように API Explorer テンプレートに入力して実行します。

  1. projectID 項目にプロジェクト ID(プロジェクト名)を入力します。
  2. 次の項目は自動的に入力されます。
    1. region = "global"。global は Cloud Dataproc クラスタの作成時のデフォルトのリージョンです。これは特別なマルチリージョンの名前空間であり、すべての Compute Engine にインスタンスをグローバルにデプロイできます。別のリージョンにクラスタを作成した場合は(API Explorer - クラスタの作成を参照)、「global」をクラスタのリージョンの名前に置き換えます。
    2. リクエストの本文の job.placement.clusterName =「example-cluster」。これは、Cloud Dataproc クラスタの名前です(前回のクイックスタートで作成されました。API Explorer - クラスタの作成を参照)。ここでジョブが実行されます。名前が異なる場合は、作成したクラスタの名前でこの名前を置き換えます。
    3. リクエストの本文の job.sparkJob:
      1. args =「1000」。タスクの数。
      2. jarFileUris =「file:///usr/lib/spark/lib/spark-examples.jar」。クラスタのマスター VM インスタンスに事前にインストールされている jar ファイルの場所で、このファイルに Spark Scala ジョブコードが含まれています。
      3. mainClass =「org.apache.spark.examples.SparkPi」。ジョブが Scala アプリケーションの pi 計算で主に使用するメソッド。
  3. [実行] をクリックします。ダイアログが開き、デフォルトの https://www.googleapis.com/auth/cloud-platform スコープを確認するように求められます。ダイアログの [許可] をクリックして、リクエストをサービスに送信します。すぐに(通常、1 秒もかかりません)、example-cluster が保留中であることを示す JSON レスポンスがテンプレートの下に表示されます。

GCP Console の [クラスタ] に移動し、ジョブ ID のリンクをクリックすることで、ジョブの出力を調べることができます(行が右端を越えている場合は、[行の折り返し] ボックスを選択して行を見えるようにします)。

これで、Google API Explorer を使用して Apache Spark ジョブを Cloud Dataproc クラスタに送信しました。

次のステップ

このページは役立ちましたか?評価をお願いいたします。

フィードバックを送信...

Cloud Dataproc ドキュメント
ご不明な点がありましたら、Google のサポートページをご覧ください。