Dataproc-Cluster mit der Google Cloud Console erstellen

Auf dieser Seite erfahren Sie, wie Sie mit der Google Cloud Console Dataproc-Cluster, einfache Ausführung Apache Spark im Cluster erstellen und dann die Anzahl der Worker im Cluster ändern.

Klicken Sie auf Anleitung, um eine detaillierte Anleitung für diese Aufgabe direkt in der Google Cloud Console aufzurufen.

Anleitung

Hinweise

  1. Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

  4. Dataproc API aktivieren.

    Aktivieren Sie die API

    5.

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

  7. Dataproc API aktivieren.

    Aktivieren Sie die API

    8.

Cluster erstellen

  1. Rufen Sie in der Google Cloud Console Dataproc auf. Seite Cluster:

    Zu den Clustern

  2. Klicken Sie auf Cluster erstellen.

  3. Klicken Sie im Dialogfeld Dataproc-Cluster erstellen auf Erstellen. in der Zeile Cluster on Compute Engine.

  4. Geben Sie im Feld Clustername den Wert example-cluster ein.

  5. Wählen Sie in den Listen Region und Zone eine Region und eine Zone aus.

    Region auswählen (z. B. us-east1 oder europe-west1) um Ressourcen wie VM-Instanzen und Cloud Storage- und Metadaten-Speicherorte, die von Dataproc in der Region. Weitere Informationen finden Sie unter Verfügbare Regionen und Zonen und Regionale Endpunkte.

  6. Verwenden Sie für alle anderen Optionen die Standardeinstellungen.

  7. Klicken Sie zum Erstellen des Clusters auf Erstellen.

    Der neue Cluster wird auf der Seite Cluster in einer Liste angezeigt. Der Status ist Bereitstellung, bis der Cluster einsatzbereit ist, und dann der Status zu Running (Wird ausgeführt). Die Bereitstellung des Clusters kann einige Minuten

Spark-Job senden

Senden Sie einen Spark-Job, der den Wert Pi schätzt:

  1. Klicken Sie im Dataproc-Navigationsmenü auf Jobs.

  2. Klicken Sie auf der Seite Jobs auf Job senden und dann Folgendes:

    1. Klicken Sie im Feld Cluster auf Durchsuchen.
    2. Klicken Sie in der Zeile für example-cluster auf Auswählen.
    3. Verwenden Sie im Feld Job-ID die Standardeinstellung oder geben Sie eine ID an, die für Ihr Google Cloud-Projekt eindeutig ist.
    4. Wählen Sie für Job type (Jobtyp) die Option Spark aus.
    5. Geben Sie in das Feld Hauptklasse oder JAR-Datei Folgendes ein: org.apache.spark.examples.SparkPi
    6. Geben Sie in das Feld Jar files (Jar-Dateien) Folgendes ein: file:///usr/lib/spark/examples/jars/spark-examples.jar

    7. Geben Sie im Feld Argumente 1000 ein, um die Anzahl der Aufgaben festzulegen.

    8. Klicken Sie auf Senden.

      Der Job wird auf der Seite Jobdetails angezeigt. Der Jobstatus ist Aktiv oder Wird gestartet. Anschließend ändert er sich in Erfolgreich. eingereicht wurde.

      Um Scrollen in der Ausgabe zu vermeiden, klicken Sie auf Zeilenumbruch: Aus. Die Ausgabe sieht in etwa so aus:

      Pi is roughly 3.1416759514167594

      Klicken Sie auf den Tab Konfiguration, um die Jobdetails aufzurufen.

Cluster aktualisieren

Aktualisieren Sie den Cluster, indem Sie die Anzahl der Worker-Instanzen ändern:

  1. Klicken Sie im Navigationsmenü auf Cluster.
  2. Klicken Sie in der Liste der Cluster auf example-cluster.

  3. Klicken Sie auf der Seite Clusterdetails auf den Tab Konfiguration.

    Die Clustereinstellungen werden angezeigt.

  4. Klicken Sie auf  Bearbeiten.

  5. Geben Sie im Feld Worker-Knoten den Wert 5 ein.

  6. Klicken Sie auf Speichern.

Der Cluster wurde aktualisiert. Um die Anzahl der Worker-Knoten auf den für den ursprünglichen Wert, gehen Sie genauso vor.

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen in Rechnung gestellt werden:

  1. Klicken Sie auf der Seite Clusterdetails für example-cluster auf Löschen, um den Cluster zu löschen.
  2. Klicken Sie auf Löschen, um zu bestätigen, dass Sie den Cluster löschen möchten.

Nächste Schritte