Sparks-Job mithilfe einer Vorlage senden
Auf dieser Seite erfahren Sie, wie Sie mit der Vorlage Google APIs Explorer einen einfachen Spark-Job auf einem vorhandenen Dataproc-Cluster ausführen.
Weitere Möglichkeiten zum Senden eines Jobs an einen Dataproc-Cluster finden Sie unter:
Hinweise
Bevor Sie einen Dataproc-Job ausführen können, müssen Sie einen Cluster mit einer oder mehreren virtuellen Maschinen (VMs) erstellen, auf denen er ausgeführt werden soll. Sie können den APIs Explorer, die Google Cloud Console, dasgcloud
-Befehlszeilentool gcloud oder die Kurzanleitungen für die Verwendung von Cloud-Clientbibliotheken verwenden, um einen Cluster zu erstellen.
Job senden
Zum Senden eines Apache Spark-Beispieljobs, der einen ungefähren Wert für pi berechnet, müssen Sie die Google API Explorer-Vorlage API testen ausfüllen und ausführen.
Anfrageparameter:
Anfragetext:
- job.placement.clusterName: Der Name des Clusters, in dem der Job ausgeführt wird (bestätigen oder ersetzen Sie "example-cluster"").
- job.sparkJob.args: die Anzahl der Jobaufgaben.
- job.sparkJob.jarFileUris: "file:///usr/lib/spark/examples/jars/spark-examples.jar". Dies ist der lokale Dateipfad auf dem Masterknoten des Dataproc-Clusters, auf dem das JAR, das den Spark Scala-Jobcode enthält, installiert ist.
- job.sparkJob.mainClass: "org.apache.spark.examples.SparkPi". Die wichtigste Methode der Scala-Anwendung für den Job ist die Scala-Anwendung.
Klicken Sie auf AUSFÜHREN. Wenn Sie die API-Vorlage zum ersten Mal ausführen, werden Sie möglicherweise aufgefordert, ein Google-Konto auszuwählen und sich in Ihrem Google-Konto anzumelden. Anschließend werden Sie autorisiert, den Google APIs Explorer für den Zugriff auf Ihr Konto zu verwenden. Wenn die Anfrage erfolgreich ist, zeigt die JSON-Antwort an, dass die Anfrage zur Jobübermittlung ausstehend ist.
Zum Aufrufen der Jobausgabe öffnen Sie in der Cloud Console die Seite Dataproc-Jobs und klicken dann auf die oberste (aktuelle) Job-ID. Klicken Sie auf LINE WRAP“, um Zeilen über dem rechten Rand zu sehen.
... Pi is roughly 3.141804711418047 ...
Bereinigen
Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud-Konto die auf dieser Seite verwendeten Ressourcen in Rechnung gestellt werden:
- Wenn Sie den Cluster nicht zum Prüfen der anderen Kurzanleitungen oder zum Ausführen anderer Jobs benötigen, verwenden Sie den APIs Explorer, die Google Cloud Console, das gcloud-Befehlszeilentool
gcloud
und die Kurzanleitungen für Cloud-Clientbibliotheken, um den Cluster zu löschen.