Dataproc-Cluster mit der gcloud CLI erstellen

Auf dieser Seite wird erläutert, wie Sie mit der Google Cloud-Befehlszeile gcloud einen Dataproc-Cluster erstellen, einen Apache Spark-Job im Cluster ausführen und dann die Anzahl der Worker im Cluster ändern.

.

Wie Sie dieselben oder ähnliche Aufgaben ausführen können, finden Sie in den Kurzanleitungen für den Start mit dem API Explorer, in der Google Cloud Console unter Dataproc-Cluster mit der Google Cloud Console erstellen und in den Clientbibliotheken unter Dataproc-Cluster mit Clientbibliotheken erstellen.

Hinweise

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. Enable the Dataproc API.

    Enable the API

    5.

  5. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  6. Make sure that billing is enabled for your Google Cloud project.

  7. Enable the Dataproc API.

    Enable the API

    8.

Cluster erstellen

Führen Sie den folgenden Befehl aus, um einen Cluster namens example-cluster zu erstellen:

gcloud dataproc clusters create example-cluster --region=REGION

Die Befehlsausgabe bestätigt die Clustererstellung: 

Waiting for cluster creation operation...done.
Created [... example-cluster]

Informationen zum Auswählen einer Region finden Sie unter Verfügbare Regionen und Zonen. Mit dem Befehl gcloud compute regions list können Sie eine Liste der verfügbaren Regionen aufrufen. Weitere Informationen zu regionalen Endpunkten finden Sie unter Regionale Endpunkte.

Job senden

Um einen Spark-Beispieljob zu senden, der einen ungefähren Wert für pi berechnet, führen Sie den folgenden Befehl aus:

gcloud dataproc jobs submit spark --cluster example-cluster \
    --region=REGION \
    --class org.apache.spark.examples.SparkPi \
    --jars file:///usr/lib/spark/examples/jars/spark-examples.jar -- 1000

Dieser Befehl gibt Folgendes an:

  • Sie möchten einen spark-Job im Cluster example-cluster in der angegebenen Region ausführen
  • Die class mit der primären Methode für die Anwendung zur Berechnung des PI-Wertes
  • Den Speicherort der JAR-Datei, die den Code des Jobs enthält
  • Alle Parameter, die Sie an den Job übergeben möchten – in diesem Fall die Anzahl der Aufgaben, also 1000

Die aktuelle bzw. endgültige Ausgabe des Jobs wird im Terminalfenster angezeigt:

Waiting for job output...
...
Pi is roughly 3.14118528
...
Job finished successfully.

Cluster aktualisieren

Um die Anzahl der Worker im Cluster auf fünf zu ändern, führen Sie den folgenden Befehl aus:

gcloud dataproc clusters update example-cluster \
    --region=REGION \
    --num-workers 5

In der Befehlsausgabe werden die Details Ihres Clusters angezeigt. Beispiel:

workerConfig:
...
  instanceNames:
  - example-cluster-w-0
  - example-cluster-w-1
  - example-cluster-w-2
  - example-cluster-w-3
  - example-cluster-w-4
  numInstances: 5
statusHistory:
...
- detail: Add 3 workers.

Verwenden Sie denselben Befehl, um die Anzahl der Worker-Knoten auf den ursprünglichen Wert zu reduzieren:

gcloud dataproc clusters update example-cluster \
    --region=REGION \
    --num-workers 2

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud -Konto die in dieser Anleitung verwendeten Ressourcen in Rechnung gestellt werden:

  1. Führen Sie den Befehl clusters delete aus, um Ihre example-cluster zu löschen: 

    gcloud dataproc clusters delete example-cluster \
    --region=REGION

  2. Drücken Sie zum Bestätigen und Abschließen des Löschens des Clusters y und dann auf die Eingabetaste.

Nächste Schritte