Wartungsereignisse mit Cloud TPU Pods verwalten

Überblick

TPU-Knoten und TPU-VMs sind Instanzen von Compute Engine-VMs mit angehängter TPU-Hardware. Compute Engine-VMs unterliegen den VM-Wartungsereignissen der Compute Engine. Jede TPU ist mit einer Compute Engine-VM verbunden. Wenn Sie also mehr TPUs verwenden (z. B. in einem TPU-Pod), steigt die Wahrscheinlichkeit, dass eine Ihrer VMs auf ein Wartungsereignis stößt.

In diesem Dokument werden verschiedene Ansätze zur Verarbeitung von Wartungsereignissen für lang andauernde Trainingsjobs auf Cloud TPUs erläutert.

Prüfpunkte für eine schnelle Wiederherstellung nach Wartungsereignissen verwenden

Prüfpunkte sind der Schlüssel zu kurzen Wiederherstellungen nach Wartungsereignissen und sollten häufig gespeichert werden. Als Faustregel gilt, dass Prüfpunkte etwa stündlich gespeichert werden. Prüfpunkte nicht oft genug zu speichern birgt das Risiko, dass viele Trainingsfortschritte aufgrund von Wartungsereignissen oder anderen Trainingsunterbrechungen verloren gehen.

Prüfpunkte beziehen sich im Allgemeinen auf alle gespeicherten Parameter, die für das Training verwendet werden (z. B. Modellgewichtungen). Die Zeit zum Speichern eines Prüfpunkts kann zwischen Sekunden und einigen Minuten liegen.

Obwohl nach die meisten Wartungsereignisse automatisch wiederhergestellt wird und Trainingsjobs ohne manuelles Eingreifen fortgesetzt werden, kann es in Grenzfällen vorkommen, dass der Job nicht neu gestartet und automatisch fortgesetzt wird. In diesem Fall müssen Sie die TPU-Ressourcen löschen und neu erstellen und den Trainingsjob von einem gespeicherten Prüfpunkt aus neu starten. Informationen zum Erkennen und Wiederherstellen automatischer Wiederherstellungsfehler finden Sie unter TPU-Fehler erkennen und wiederherstellen.

Die Mechanismen zum Speichern und Laden von Prüfpunkten unterscheiden sich je nach ML-Framework. Unterstützte Cloud TPU-Modelle haben in der Regel eine integrierte Prüfpunktausführung. Weitere Informationen zur Prüfpunktausführung finden Sie unter TensorFlow 2.x, PyTorch oder JAX/flax.

Wartungsereignisse erkennen

Mit dem folgenden gcloud describe-Befehl können Sie feststellen, ob und wann ein Wartungsereignis auf Ihrer TPU auftritt:

TPU-VMs

$ gcloud compute tpus tpu-vm describe tpu-name --zone=zone  | grep 'health'

TPU-Knoten

$ gcloud compute tpus describe tpu-name --zone=zone | grep 'health'

Die Ausgabe dieses Befehls zeigt den aktuellen Status der TPU und eine Beschreibung des letzten Wartungsereignisses an. Die Ausgabe sollte in etwa so aussehen:

health: HEALTHY
healthDescription: The TPU had a maintenance event at 2022-01-26T03:44:36.265703305Z

Logs zu Wartungsereignissen

Sie können sich Verlaufslogs von Wartungsereignissen auf Ihrer TPU in den Audit-Logs zu Systemereignissen ansehen.

Klicken Sie im Navigationsmenü der Google Cloud Console auf Compute Engine > VM-Instanzen und suchen Sie beispielsweise:

"tpu.nodes.terminate" OR "tpu.nodes.restart"

Innerhalb des Suchzeitraums werden alle Unterbrechungen und Reparaturen Ihrer TPU-Worker angezeigt. Die Logs enthalten das Datum und die Uhrzeit des Ereignisses, den Typ des Ereignisses und für „terminate“-Ereignisse den Grund für die Beendigung in protoPayload.metadata.terminateReason.

Wartungsereignisse verarbeiten

Es gibt mehrere Möglichkeiten, Unterbrechungen von Wartungsereignissen zu minimieren.

  1. Prüfpunkte regelmäßig speichern

    Im Idealfall wird das Training ab dem letzten Checkpoint fortgesetzt, wenn ein „Unterbrechungsereignis“ eintritt.

  2. Wiederholungsversuche von Trainingsskripts

    Das Trainingsskript kann aufgrund eines "Unterbrechungsereignisses" beendet werden. Mit einem bash-Skript können Sie das Trainingsskript kontinuierlich wiederholen, bis das Training abgeschlossen ist. Jeder Wiederholungsversuch sollte vom letzten Prüfpunkt aus fortgesetzt werden. Daher sollten Wiederholungsskripts immer in Verbindung mit Prüfpunkten verwendet werden.

    Produktionsfertige Trainingspipelines sollten ein Ressourcenverwaltungssystem wie Google Kubernetes Engine (GKE) verwenden. Weitere Informationen zur Verwendung von Google Kubernetes Engine mit der TPU-VM-Architektur finden Sie unter TPU-Arbeitslasten bereitstellen. Weitere Informationen zur Verwendung von Google Kubernetes Engine mit der TPU-Knotenarchitektur finden Sie unter TPU-Anwendungen in Google Kubernetes Engine ausführen. Andernfalls können Sie ein bash-Skript implementieren, um das Trainingsskript bis zum Abschluss kontinuierlich zu wiederholen. Beispiel:

    Mit TPU-Knoten:

    (Von Ihrer VM aus) bash while ! python3 [training command]; do sleep 1; done

    Mit TPU-VM:

    while ! gcloud compute tpus tpu-vm ssh ${TPU_NAME} --command "python3 [training command]"; do sleep 1; done

    Hinweis: Sie müssen den TPU-VM-Befehl über eine Cloud Shell oder ein Terminal ausführen, nicht über die TPU-VM.

  3. TPU-Fehler erkennen und davon wiederherstellen

    Wenn eine TPU nicht nach einem Wartungsereignis wiederhergestellt wird, können Sie den TPU-Status mithilfe eines Wiederherstellungsskripts erkennen und die TPU löschen und neu erstellen. Ein Beispiel für dieses Skript finden Sie hier. Weitere Informationen zum manuellen Löschen und Neuerstellen von TPUs finden Sie unter TPUs verwalten.

    Wenn Sie eine TPU-VM erstellen oder neu erstellen, können Sie mit dem Parameter --metadata startup-script ein Startup-Skript angeben. Ein Startup wird immer dann ausgeführt, wenn eine TPU-VM erstellt wird. Weitere Informationen finden Sie unter Standardinstallationsskripts ausführen.