Dataproc-Cluster mithilfe einer Vorlage aktualisieren

Auf dieser Seite erfahren Sie, wie Sie eine Google APIs Explorer-Vorlage verwenden, um einen Dataproc-Cluster zu aktualisieren, um die Anzahl der Worker in einem Cluster zu ändern. Das Ausführen eines Clusters für mehr Worker ist eine häufige Aufgabe, wenn zur Verarbeitung größerer Jobs zusätzliche Worker benötigt werden.

Weitere Möglichkeiten zum Aktualisieren eines Dataproc-Clusters finden Sie unter:

Hinweise

Bei dieser Kurzanleitung wird davon ausgegangen, dass Sie bereits einen Dataproc-Cluster erstellt haben. Sie können zum Erstellen eines Clusters den APIs Explorer, die Google Cloud Console, das gcloud-Befehlszeilentool der gcloud CLI oder die Kurzanleitungen zur Verwendung von Cloud-Clientbibliotheken verwenden.

Cluster aktualisieren

Zum Aktualisieren der Anzahl der Worker im Cluster müssen Sie die Google APIs Explorer-Vorlage Diese API testen ausfüllen und ausführen.

  1. Anfrageparameter:

    1. Geben Sie die projectId ein.
    2. Geben Sie die Region an, in der sich der Cluster befindet, oder bestätigen Sie "us-central1". Die Region Ihres Clusters wird in der Google Cloud Console auf der Dataproc-Seite Cluster aufgeführt.
    3. Geben Sie den clusterName des vorhandenen Clusters an, den Sie aktualisieren (bestätigen oder ersetzen Sie „example-cluster”).
    4. updateMask: „config.worker_config.num_instances”. Dies ist der JSON-Pfad in Bezug auf die Cluster-Ressource des numInstances-Parameters, der aktualisiert werden soll (siehe Anleitung zum Anfragetext).

  2. Anfragetext:

    1. config.workerConfig.numInstances: ("3": die neue Anzahl der Worker). Sie können diesen Wert ändern, um weniger oder mehr Worker hinzuzufügen. Wenn Ihr Standardcluster beispielsweise die Standardanzahl von 2 Workern hat, wird durch Angabe von "3" ein Worker hinzugefügt. Durch die Angabe von "4 werden 2 hinzugefügt". Ein Standard-Dataproc-Cluster muss mindestens zwei Worker haben.

  3. Klicken Sie auf AUSFÜHREN. Wenn Sie die API-Vorlage zum ersten Mal ausführen, werden Sie möglicherweise aufgefordert, ein Google-Konto auszuwählen und sich anzumelden, und autorisieren Sie dann Google APIs Explorer, auf Ihr Konto zuzugreifen. Wenn die Anfrage erfolgreich ist, zeigt die JSON-Antwort an, dass die Clusteraktualisierung aussteht.

  4. Wenn Sie prüfen möchten, ob die Anzahl der Worker im Cluster aktualisiert wurde, öffnen Sie in der Google Cloud Console die Dataproc-Seite Cluster und sehen Sie sich die Spalte Worker-Knoten insgesamt des Clusters an. Möglicherweise müssen Sie oben auf der Seite auf AKTUALISIEREN klicken, um den aktualisierten Wert nach Abschluss der Clusteraktualisierung aufzurufen.

Bereinigen

Mit den folgenden Schritten vermeiden Sie, dass Ihrem Google Cloud-Konto die auf dieser Seite verwendeten Ressourcen in Rechnung gestellt werden.

  1. Wenn Sie den Cluster nicht benötigen, um sich die anderen Kurzanleitungen anzusehen oder andere Jobs auszuführen, verwenden Sie den APIs Explorer, die Google Cloud Console, das gcloud der gcloud CLI oder die Kurzanleitungen zur Verwendung von Cloud-Clientbibliotheken, um den Cluster zu löschen.

Nächste Schritte