Dataproc-Cluster mit der Google Cloud Console erstellen
Auf dieser Seite erfahren Sie, wie Sie mit der Google Cloud Console Dataproc-Cluster, einfache Ausführung Apache Spark im Cluster erstellen und dann die Anzahl der Worker im Cluster ändern.
Klicken Sie auf Anleitung, um eine detaillierte Anleitung für diese Aufgabe direkt in der Google Cloud Console aufzurufen.
Hinweis
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Dataproc API.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Dataproc API.
Cluster erstellen
Rufen Sie in der Google Cloud Console Dataproc auf. Seite Cluster:
Klicken Sie auf Cluster erstellen.
Klicken Sie im Dialogfeld Dataproc-Cluster erstellen auf Erstellen. in der Zeile Cluster on Compute Engine.
Geben Sie im Feld Clustername
example-cluster
ein.Wählen Sie in den Listen Region und Zone eine Region und eine Zone aus.
Region auswählen (z. B.
us-east1
odereurope-west1
) um Ressourcen wie VM-Instanzen und Cloud Storage- und Metadaten-Speicherorte, die von Dataproc in der Region. Weitere Informationen finden Sie unter Verfügbare Regionen und Zonen und Regionale Endpunkte.Verwenden Sie für die anderen Optionen die Standardeinstellungen.
Klicken Sie zum Erstellen des Clusters auf Erstellen.
Der neue Cluster wird in einer Liste auf der Seite Cluster angezeigt. Der Status ist Wird bereitgestellt, bis der Cluster zur Verwendung bereit ist. Anschließend ändert er sich zu Aktiv. Die Bereitstellung des Clusters kann einige Minuten.
Spark-Job senden
Senden Sie einen Spark-Job, der den Wert Pi schätzt:
- Klicken Sie im Dataproc-Navigationsmenü auf Jobs.
Klicken Sie auf der Seite Jobs auf
Job senden und gehen Sie dann so vor:- Klicken Sie im Feld Cluster auf Durchsuchen.
- Klicken Sie in der Zeile für
example-cluster
auf Auswählen. - Verwenden Sie im Feld Job-ID die Standardeinstellung oder geben Sie eine ID an, die für Ihr Google Cloud-Projekt eindeutig ist.
- Wählen Sie als Jobtyp die Option Spark aus.
- Geben Sie im Feld Hauptklasse oder JAR den Wert
org.apache.spark.examples.SparkPi
ein. - Geben Sie in das Feld Jar files (Jar-Dateien) Folgendes ein:
file:///usr/lib/spark/examples/jars/spark-examples.jar
Geben Sie im Feld Argumente
1000
ein, um die Anzahl der Aufgaben festzulegen.Klicken Sie auf Senden.
Ihr Job wird auf der Seite Jobdetails angezeigt. Der Jobstatus ist Aktiv oder Wird gestartet. Anschließend wird er in Erfolgreich geändert, eingereicht wurde.
Um Scrollen in der Ausgabe zu vermeiden, klicken Sie auf Zeilenumbruch: Aus. Die Ausgabe sieht in etwa so aus:
Pi is roughly 3.1416759514167594
Klicken Sie auf den Tab Konfiguration, um die Jobdetails aufzurufen.
Cluster aktualisieren
Aktualisieren Sie den Cluster, indem Sie die Anzahl der Worker-Instanzen ändern:
- Klicken Sie im Navigationsmenü auf Cluster.
- Klicken Sie in der Liste der Cluster auf
example-cluster
. Klicken Sie auf der Seite Clusterdetails auf den Tab Konfiguration.
Die Clustereinstellungen werden angezeigt.
Klicken Sie auf
Bearbeiten.Geben Sie im Feld Worker-Knoten
5
ein.Klicken Sie auf Speichern.
Der Cluster wurde aktualisiert. Um die Anzahl der Worker-Knoten auf den für den ursprünglichen Wert, gehen Sie genauso vor.
Bereinigen
Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen in Rechnung gestellt werden:
- Klicken Sie auf der Seite Clusterdetails für
example-cluster
auf Löschen, um den Cluster zu löschen. - Klicken Sie auf Löschen, um zu bestätigen, dass Sie den Cluster löschen möchten.
Nächste Schritte
- Probieren Sie diese Kurzanleitung mit anderen Tools aus:
- Robuste Firewallregeln beim Erstellen eines Projekts generieren
- Spark-Scala-Jobs schreiben und ausführen