APIs Explorer 快速入門導覽課程:提交 Spark 工作

本頁面說明如何使用內嵌 Google APIs Explorer 範本在現有的 Cloud Dataproc 叢集中執行簡單的 Spark 工作。您可以透過使用主控台的快速入門導覽課程使用 gcloud 指令列工具的快速入門導覽課程,學習如何使用 Google Cloud Platform 主控台或指令列執行相同的工作。

事前準備

開始執行 Cloud Dataproc 工作之前,您需要先建立要用來執行工作的虛擬機器 (VM) 叢集。您可以使用 APIs ExplorerGoogle Cloud Platform 主控台或 Cloud SDK gcloud 指令列工具建立叢集。

提交工作

如要提交計算 pi 粗略值的範例 Apache Spark 工作,請填寫並執行 APIs Explorer 範本,如下所示:

  1. projectID 欄位中輸入專案 ID (專案名稱)。
  2. 系統會自動填寫下列欄位:
    1. region = "global"。global 是 Cloud Dataproc 叢集建立時的預設地區。這是一個特殊的多地區命名空間,可以在 Cloud Dataproc 叢集建立之後,將執行個體部署到全球所有 Compute Engine。如果您是在其他地區建立叢集 (請參閱 APIs Explorer:建立叢集一文),請將「global」替換為您叢集的地區名稱。
    2. 要求主體 job.placement.clusterName = "example-cluster"。這是要執行工作的 Cloud Dataproc 叢集名稱 (名稱在之前的快速入門導覽課程中建立;請參閱 APIs Explorer:建立叢集一文)。如果該名稱和您的叢集名稱不同,請替換為您的叢集名稱。
    3. 要求主體 job.sparkJob
      1. args = "1000"。工作數量。
      2. jarFileUris = "file:///usr/lib/spark/examples/jars/spark-examples.jar"。預先安裝的 jar 檔的位置,在包含 Spark Scala 工作程式碼的叢集中的主要 VM 執行個體上。
      3. mainClass = "org.apache.spark.examples.SparkPi"。工作的 pi 計算 Scala 應用程式的主要方法。
  3. 按一下 [EXECUTE] (執行),畫面上會顯示一個對話方塊,要求您確認預設的 https://www.googleapis.com/auth/cloud-platform 範圍。請點選對話方塊中的 [ALLOW] (允許),將要求傳送至服務。通常在一秒鐘內,範本下方就會出現 JSON 回應,說明 example-cluster 處於待處理狀態。

如要檢查工作輸出,請前往 GCP 主控台的「Clusters」(叢集) 頁面,然後點選工作 ID 連結 (勾選 [Line wrapping] (換行) 方塊可將超過右側邊緣的部分移到下一行)。

恭喜!您已使用 Google APIs Explorer 將 Apache Spark 工作提交至 Cloud Dataproc 叢集。

後續步驟