Dataproc-Cluster mit der gcloud CLI erstellen

Auf dieser Seite erfahren Sie, wie Sie die Google Cloud CLI verwenden gcloud-Befehlszeilentool zum Erstellen einer Google Cloud-Instanz Dataproc-Cluster, einfache Ausführung Apache Spark-Job im Cluster, und die Anzahl der Worker im Cluster ändern.

Informationen dazu, wie Sie dieselben oder ähnliche Aufgaben ausführen können, finden Sie unter Schnellstarts mit dem API Explorer. in der Google Cloud Console Dataproc-Cluster mit der Google Cloud Console erstellen und die Verwendung der Clientbibliotheken Dataproc-Cluster mithilfe von Clientbibliotheken erstellen

Hinweise

  1. Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

  4. Enable the Dataproc API.

    Enable the API

    5.

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

  7. Enable the Dataproc API.

    Enable the API

    8.

Cluster erstellen

Führen Sie den folgenden Befehl aus, um einen Cluster namens example-cluster zu erstellen. Unter Verfügbare Regionen und Zonen finden Sie Informationen zur Auswahl einer Region. Sie können auch den Befehl gcloud compute regions list ausführen, um eine Liste der verfügbaren Regionen aufzurufen. Siehe auch Regionale Endpunkte um mehr über regionale Endpunkte zu erfahren.

gcloud dataproc clusters create example-cluster --region=region

Die Erstellung des Clusters wird in der Befehlsausgabe bestätigt: 

...
Waiting for cluster creation operation...done.
Created [... example-cluster]

Job senden

Um einen Spark-Beispieljob zu senden, der einen ungefähren PI-Wert berechnet, führen Sie den folgenden Befehl aus:

gcloud dataproc jobs submit spark --cluster example-cluster \
    --region=region \
    --class org.apache.spark.examples.SparkPi \
    --jars file:///usr/lib/spark/examples/jars/spark-examples.jar -- 1000

Dieser Befehl gibt Folgendes an:

  • Sie möchten einen spark-Job im Cluster example-cluster in der angegebenen Region ausführen
  • Die class mit der primären Methode für die Anwendung zur Berechnung des PI-Wertes
  • Den Speicherort der JAR-Datei, die den Code des Jobs enthält
  • Alle Parameter, die Sie an den Job übergeben möchten – in diesem Fall die Anzahl der Aufgaben, also 1000

Die aktuelle und endgültige Ausgabe des Jobs wird im Terminal-Fenster angezeigt:

Waiting for job output...
...
Pi is roughly 3.14118528
...
Job finished successfully.

Cluster aktualisieren

Um die Anzahl der Worker im Cluster auf fünf zu ändern, führen Sie den folgenden Befehl aus:

gcloud dataproc clusters update example-cluster \
    --region=region \
    --num-workers 5

Die Details Ihres Clusters werden in der Ausgabe des Befehls angezeigt:

workerConfig:
...
  instanceNames:
  - example-cluster-w-0
  - example-cluster-w-1
  - example-cluster-w-2
  - example-cluster-w-3
  - example-cluster-w-4
  numInstances: 5
statusHistory:
...
- detail: Add 3 workers.

Sie können den gleichen Befehl verwenden, um die Anzahl der Worker-Knoten auf den ursprünglichen Wert zu reduzieren:

gcloud dataproc clusters update example-cluster \
    --region=region \
    --num-workers 2

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen in Rechnung gestellt werden:

  • Zum Löschen des Beispielclusters führen Sie den Befehl clusters delete aus. 
    gcloud dataproc clusters delete example-cluster \
    --region=region
    Sie werden aufgefordert, das Löschen des Clusters zu bestätigen. Geben Sie y ein, um den Löschvorgang abzuschließen.

Nächste Schritte