Dataproc-Cluster beenden und starten

Nachdem Sie einen Cluster erstellt haben, können Sie ihn beenden und bei Bedarf neu starten. Durch das Beenden eines inaktiven Clusters fallen keine Kosten an und es wird vermieden, dass ein inaktiver Cluster gelöscht wird. Erstellen Sie später einen Cluster mit derselben Konfiguration.

Funktionshinweise:

  • Das Start-/Stopp-Feature des Clusters wird nur mit den folgenden Dataproc-Image-Versionen oder höher unterstützt:
    • 1.4.35-debian10/ubuntu18
    • 1.5.10-debian10/ubuntu18
    • 2.0.0-RC6-debian10/ubuntu18
  • Das Beenden einzelner Clusterknoten wird nicht empfohlen, da der Status einer beendeten VM möglicherweise nicht mit dem Clusterstatus synchronisiert ist. Dies kann zu Fehlern führen.

Cluster anhalten

Durch das Anhalten eines Clusters werden alle Cluster von Compute Engine-VMs beendet. Diese VMs werden Ihnen nicht in Rechnung gestellt. Sie bezahlen jedoch weiterhin für alle zugehörigen Clusterressourcen wie nichtflüchtige Speicher.

Hinweise:

  • Laufende Vorgänge: Wenn ein Cluster Vorgänge ausführt, z. B. Aktualisierungs- oder Diagnosevorgänge, schlägt die Stoppanfrage fehl.
  • Ausgeführte Jobs: Wenn in einem Cluster Jobs ausgeführt werden, ist die Stoppanfrage erfolgreich, die VMs werden angehalten und laufende Jobs schlagen fehl.
  • Stop-Antwort: Wenn durch die Stoppanfrage an den Nutzer oder Aufrufer in der Antwort ein Stoppvorgang zurückgegeben wird, hat der Cluster den Status STOPPING und es können keine weiteren Jobs mehr gesendet werden (SubmitJob-Anfragen schlagen fehl).
  • Autoscaling: Wenn Sie einen Cluster anhalten, für den Autoscaling aktiviert ist, wird der Cluster nicht mehr von Dataproc-Autoscaling skaliert. Nach einem erneuten Start wird die Skalierung des Clusters fortgesetzt. Wenn Sie die automatische Skalierung für einen angehaltenen Cluster aktivieren, wird die Autoscaling-Richtlinie erst wirksam, nachdem der Cluster gestartet wurde.

Stoppvorgang überwachen

Sie können gcloud dataproc operations describe operation-id ausführen, um den lange laufenden Cluster-Stoppvorgang zu überwachen. Sie können auch den Befehl gcloud dataproc clusters describe cluster-name verwenden, um die Umstellung des Clusterstatus von RUNNING auf STOPPING zu STOPPED zu beobachten.

Beschränkungen

Cluster starten

  • Wenn Sie einen angehaltenen Cluster starten, werden alle Initialisierungsaktionen nicht noch einmal ausgeführt. Initialisierungsaktionen werden nur auf Clusterknoten ausgeführt, wenn der Cluster erstellt wird und wenn Knoten beim Hochskalieren hinzugefügt werden.

  • Nach Abschluss des Startvorgangs können Sie sofort Jobs an den Cluster senden. Die Ausführung dieser Jobs kann sich jedoch verzögern (ca. 30 Sekunden), bis HDFS und YARN betriebsbereit sind.

Funktion „Stopp”/„Start” verwenden

Sie können einen Cluster über die gcloud CLI oder die Dataproc API beenden und starten.

gcloud-Befehl

Cluster beenden

gcloud dataproc clusters stop cluster-name \
    --region=region

Cluster starten

gcloud dataproc clusters start cluster-name \
    --region=region

REST API

Cluster beenden

Senden Sie eine clusters.stop-Anfrage.

Cluster starten

Senden Sie eine clusters.start-Anfrage.

Console

Klicken Sie in der Google Cloud Console auf der Dataproc-Seite Cluster auf den Namen des Clusters. Klicken Sie dann auf BEENDEN, um den Cluster zu beenden und zu starten.