Sparks-Job mithilfe einer Vorlage senden

Auf dieser Seite erfahren Sie, wie Sie mit der Vorlage Google APIs Explorer einen einfachen Spark-Job auf einem vorhandenen Dataproc-Cluster ausführen.

Weitere Möglichkeiten zum Senden eines Jobs an einen Dataproc-Cluster finden Sie unter:

Hinweise

Bevor Sie einen Dataproc-Job ausführen können, müssen Sie einen Cluster mit einer oder mehreren virtuellen Maschinen (VMs) erstellen, auf denen er ausgeführt werden soll. Sie können den APIs Explorer, die Google Cloud Console, das gcloud-Befehlszeilentool gcloud oder die Kurzanleitungen für die Verwendung von Cloud-Clientbibliotheken verwenden, um einen Cluster zu erstellen.

Job senden

Zum Senden eines Apache Spark-Beispieljobs, der einen ungefähren Wert für pi berechnet, müssen Sie die Google API Explorer-Vorlage API testen ausfüllen und ausführen.

  1. Anfrageparameter:

    1. Geben Sie die projectId ein.
    2. Geben Sie die Region an, in der sich der Cluster befindet, indem Sie us-central1&quot“ bestätigen oder ersetzen. Die Region Ihres Clusters wird auf der Dataproc-Seite Cluster in der Cloud Console aufgeführt.

  2. Anfragetext:

    1. job.placement.clusterName: Der Name des Clusters, in dem der Job ausgeführt wird (bestätigen oder ersetzen Sie "example-cluster&quot").
    2. job.sparkJob.args: die Anzahl der Jobaufgaben.
    3. job.sparkJob.jarFileUris: "file:///usr/lib/spark/examples/jars/spark-examples.jar". Dies ist der lokale Dateipfad auf dem Masterknoten des Dataproc-Clusters, auf dem das JAR, das den Spark Scala-Jobcode enthält, installiert ist.
    4. job.sparkJob.mainClass: "org.apache.spark.examples.SparkPi". Die wichtigste Methode der Scala-Anwendung für den Job ist die Scala-Anwendung.

  3. Klicken Sie auf AUSFÜHREN. Wenn Sie die API-Vorlage zum ersten Mal ausführen, werden Sie möglicherweise aufgefordert, ein Google-Konto auszuwählen und sich in Ihrem Google-Konto anzumelden. Anschließend werden Sie autorisiert, den Google APIs Explorer für den Zugriff auf Ihr Konto zu verwenden. Wenn die Anfrage erfolgreich ist, zeigt die JSON-Antwort an, dass die Anfrage zur Jobübermittlung ausstehend ist.

  4. Zum Aufrufen der Jobausgabe öffnen Sie in der Cloud Console die Seite Dataproc-Jobs und klicken dann auf die oberste (aktuelle) Job-ID. Klicken Sie auf LINE WRAP“, um Zeilen über dem rechten Rand zu sehen.

    ...
Pi is roughly 3.141804711418047
...

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud-Konto die auf dieser Seite verwendeten Ressourcen in Rechnung gestellt werden:

  1. Wenn Sie den Cluster nicht zum Prüfen der anderen Kurzanleitungen oder zum Ausführen anderer Jobs benötigen, verwenden Sie den APIs Explorer, die Google Cloud Console, das gcloud-Befehlszeilentool gcloud und die Kurzanleitungen für Cloud-Clientbibliotheken, um den Cluster zu löschen.

Nächste Schritte