Spark-Job mit einer Vorlage senden

Auf dieser Seite wird beschrieben, wie Sie mit einer Google APIs Explorer-Vorlage einen einfachen Spark-Job auf einem vorhandenen Dataproc-Cluster ausführen.

Weitere Möglichkeiten zum Senden eines Jobs an einen Dataproc-Cluster finden Sie unter:

Hinweis

Bevor Sie einen Dataproc-Job ausführen können, müssen Sie einen Cluster mit einer oder mehreren virtuellen Maschinen (VMs) erstellen, auf denen der Job ausgeführt werden soll. Sie können den APIs Explorer, die Google Cloud Console, das gcloud-Befehlszeilentool der gcloud-Befehlszeile oder die Kurzanleitungen mit Cloud-Clientbibliotheken verwenden, um einen Cluster zu erstellen.

Job senden

Zum Senden eines Apache Spark-Beispieljobs, der einen ungefähren Pi-Wert berechnet, füllen Sie aus den Google APIs Explorer-Vorlage API testen und führen Sie sie aus.

  1. Anfrageparameter:

    1. Geben Sie die projectId ein.
    2. Geben Sie die Region an, in der sich der Cluster befindet, oder bestätigen Sie "us-central1". Ihre Clusterregion wird auf der Dataproc-Seite Cluster in der Google Cloud Console aufgeführt.

  2. Anfragetext:

    1. job.Placement.clusterName: Der Name des Clusters, in dem der Job ausgeführt wird (Bestätigen oder Ersetzen von "example-cluster").
    2. job.sparkJob.args: "1000", die Anzahl der Jobaufgaben.
    3. job.sparkJob.jarFileUris: "file:///usr/lib/spark/examples/jars/spark-examples.jar". Dies ist der lokale Dateipfad auf dem Masterknoten des Dataproc-Clusters, in dem die JAR-Datei installiert ist, die den Spark Scala-Jobcode enthält.
    4. job.sparkJob.mainClass: "org.apache.spark.examples.SparkPi". Das ist die primäre Methode der PI-Berechnungs-Scala-Anwendung des Jobs.

  3. Klicken Sie auf AUSFÜHREN. Wenn Sie die API-Vorlage zum ersten Mal ausführen, werden Sie möglicherweise aufgefordert, ein Google-Konto auszuwählen und sich anzumelden, und autorisieren Sie dann Google APIs Explorer, auf Ihr Konto zuzugreifen. Wenn die Anfrage erfolgreich ist, zeigt die JSON-Antwort, dass die Anfrage zur Jobübermittlung aussteht.

  4. Öffnen Sie zum Aufrufen der Jobausgabe die Seite Dataproc-Jobs in der Google Cloud Console und klicken Sie auf die oberste (aktuelle) Job-ID. Klicken Sie auf "LINE WRAP", um Zeilen zu erstellen, die den rechten Rand überschreiten.

    ...
Pi is roughly 3.141804711418047
...

Bereinigen

So vermeiden Sie, dass Ihrem Google Cloud-Konto die auf dieser Seite verwendeten Ressourcen in Rechnung gestellt werden.

  1. Wenn Sie den Cluster nicht benötigen, um sich die anderen Kurzanleitungen anzusehen oder andere Jobs auszuführen, verwenden Sie den APIs Explorer, die Google Cloud Console, das gcloud-Befehlszeilentool gcloud oder die Cloud-Clientbibliotheken, um den Cluster zu löschen.

Weitere Informationen