Dataproc-Cluster mit einer Vorlage aktualisieren

Auf dieser Seite erfahren Sie, wie Sie eine Google APIs Explorer-Vorlage verwenden, um einen Dataproc-Cluster zu aktualisieren, um die Anzahl der Worker in einem Cluster zu ändern. Das Ausführen eines Clusters für mehr Worker ist eine häufige Aufgabe, wenn zur Verarbeitung größerer Jobs zusätzliche Worker benötigt werden.

Weitere Möglichkeiten zum Aktualisieren eines Dataproc-Clusters finden Sie unter:

Hinweise

Bei dieser Kurzanleitung wird davon ausgegangen, dass Sie bereits einen Dataproc-Cluster erstellt haben. Sie können den APIs Explorer, die Google Cloud Console, die gcloud-Befehlszeile gcloud oder die Kurzanleitungen: Cloud-Clientbibliotheken verwenden nutzen, um einen Cluster zu erstellen.

Cluster aktualisieren

Zum Aktualisieren der Anzahl der Worker im Cluster müssen Sie die Google APIs Explorer-Vorlage Diese API testen ausfüllen und ausführen.

  1. Anfrageparameter:

    1. Geben Sie die projectId ein.
    2. Geben Sie die Region an, in der sich der Cluster befindet, oder bestätigen Sie "us-central1". Die Region Ihres Clusters wird in der Google Cloud Console auf der Dataproc-Seite Cluster aufgeführt.
    3. Geben Sie den clusterName des vorhandenen Clusters an, den Sie aktualisieren (bestätigen oder ersetzen Sie „example-cluster”).
    4. updateMask: „config.worker_config.num_instances”. Dies ist der JSON-Pfad in Bezug auf die Cluster-Ressource des numInstances-Parameters, der aktualisiert werden soll (siehe Anleitung zum Anfragetext).

  2. Anfragetext:

    1. config.workerConfig.numInstances: ("3": die neue Anzahl der Worker). Sie können diesen Wert ändern, um weniger oder mehr Worker hinzuzufügen. Wenn Ihr Standardcluster beispielsweise die Standardanzahl von 2 Workern hat, wird durch Angabe von "3" ein Worker hinzugefügt. Durch die Angabe von "4 werden 2 hinzugefügt". Ein Standard-Dataproc-Cluster muss mindestens zwei Worker haben.

  3. Klicken Sie auf AUSFÜHREN. Wenn Sie die API-Vorlage zum ersten Mal ausführen, werden Sie möglicherweise aufgefordert, ein Google-Konto auszuwählen und sich anzumelden, und autorisieren Sie dann Google APIs Explorer, auf Ihr Konto zuzugreifen. Wenn die Anfrage erfolgreich ist, zeigt die JSON-Antwort an, dass die Clusteraktualisierung aussteht.

  4. Um zu prüfen, ob die Anzahl der Worker im Cluster aktualisiert wurden, öffnen Sie die Seite Dataproc Cluster in der Google Cloud Console und sehen Sie sich die Spalte der ClusterGesamtzahl der Worker-Knoten an. Möglicherweise müssen Sie oben auf der Seite auf AKTUALISIEREN klicken, um den aktualisierten Wert nach Abschluss der Clusteraktualisierung aufzurufen.

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen in Rechnung gestellt werden:

  1. Wenn Sie die anderen Kurzanleitungen oder Cluster nicht ausführen müssen, verwenden Sie den APIs-Explorer, die Google Cloud Console, die gcloud-Befehlszeile gcloud oder die Kurzanleitungen: Cloud-Clientbibliotheken verwenden, um den Cluster zu löschen.

Nächste Schritte