Dataproc-Cluster mit der gcloud CLI erstellen

Auf dieser Seite wird beschrieben, wie Sie mit dem gcloud der Google Cloud CLI einen Google Cloud Dataproc-Cluster erstellen, einen einfachen Apache Spark-Job im Cluster ausführen und dann die Anzahl der Worker im Cluster ändern.

Weitere Informationen zu denselben oder ähnlichen Aufgaben finden Sie unter Kurzanleitungen mit dem API Explorer, in der Google Cloud Console unter Dataproc-Cluster mithilfe der Google Cloud Console erstellen und mit den Clientbibliotheken unter Dataproc-Cluster mithilfe von Clientbibliotheken erstellen.

Hinweise

  1. Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

  2. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

    Zur Projektauswahl

  3. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

  4. Dataproc API aktivieren.

    Aktivieren Sie die API

    5.

  5. Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

    Zur Projektauswahl

  6. Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

  7. Dataproc API aktivieren.

    Aktivieren Sie die API

    8.

Cluster erstellen

Führen Sie den folgenden Befehl aus, um einen Cluster namens example-cluster zu erstellen. Unter Verfügbare Regionen und Zonen finden Sie Informationen zur Auswahl einer Region. Sie können auch den Befehl gcloud compute regions list ausführen, um eine Liste der verfügbaren Regionen aufzurufen. Weitere Informationen zu regionalen Endpunkten finden Sie unter Regionale Endpunkte.

gcloud dataproc clusters create example-cluster --region=region

Die Erstellung des Clusters wird in der Befehlsausgabe bestätigt: 

...
Waiting for cluster creation operation...done.
Created [... example-cluster]

Job senden

Um einen Spark-Beispieljob zu senden, der einen ungefähren PI-Wert berechnet, führen Sie den folgenden Befehl aus:

gcloud dataproc jobs submit spark --cluster example-cluster \
    --region=region \
    --class org.apache.spark.examples.SparkPi \
    --jars file:///usr/lib/spark/examples/jars/spark-examples.jar -- 1000

Dieser Befehl gibt Folgendes an:

  • Sie möchten einen spark-Job im Cluster example-cluster in der angegebenen Region ausführen
  • Die class mit der primären Methode für die Anwendung zur Berechnung des PI-Wertes
  • Den Speicherort der JAR-Datei, die den Code des Jobs enthält
  • Alle Parameter, die Sie an den Job übergeben möchten – in diesem Fall die Anzahl der Aufgaben, also 1000

Die aktuelle und endgültige Ausgabe des Jobs wird im Terminal-Fenster angezeigt:

Waiting for job output...
...
Pi is roughly 3.14118528
...
Job finished successfully.

Cluster aktualisieren

Um die Anzahl der Worker im Cluster auf fünf zu ändern, führen Sie den folgenden Befehl aus:

gcloud dataproc clusters update example-cluster \
    --region=region \
    --num-workers 5

Die Details des Clusters werden in der Ausgabe des Befehls angezeigt:

workerConfig:
...
  instanceNames:
  - example-cluster-w-0
  - example-cluster-w-1
  - example-cluster-w-2
  - example-cluster-w-3
  - example-cluster-w-4
  numInstances: 5
statusHistory:
...
- detail: Add 3 workers.

Sie können den gleichen Befehl verwenden, um die Anzahl der Worker-Knoten auf den ursprünglichen Wert zu reduzieren:

gcloud dataproc clusters update example-cluster \
    --region=region \
    --num-workers 2

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud-Konto die auf dieser Seite verwendeten Ressourcen in Rechnung gestellt werden.

  • Führen Sie clusters delete aus, um den Beispielcluster zu löschen. 
    gcloud dataproc clusters delete example-cluster \
    --region=region
    Sie werden aufgefordert, das Löschen des Clusters zu bestätigen. Geben Sie y ein, um den Löschvorgang abzuschließen.

Nächste Schritte