TPUs auf Abruf

TPUs auf Abruf kosten weitaus weniger als nicht TPUs. Der Cloud TPU-Dienst kann diese Knoten jederzeit vorzeitig beenden (herunterfahren), wenn er zusätzliche TPU-Ressourcen benötigt.

Wenn Sie eine TPU-VM auf Abruf erstellen, verwenden Sie den Befehl gcloud. Wenn Sie einen TPU-Knoten auf Abruf erstellen, können Sie den Befehl gcloud oder die Console verwenden. Informationen zu den Unterschieden zwischen TPU-VMs und TPU-Knoten finden Sie unter Systemarchitektur.

TPU VM auf Abruf erstellen

gcloud

$ gcloud alpha compute tpus tpu-vm create demo-tpu \
  --zone=europe-west4-a \
  --accelerator-type=v3-8 \
  --version=tpu-vm-tf-2.7.0 \
  --preemptible
  

Dabei gilt:

  • demo-tpu ist ein Name für die TPU.
  • `--schleuniger-Typ gibt den TPU-Typ an.
  • --version gibt die Version der TPU-VM-Software an, die installiert werden soll.
  • --preemptible ermöglicht ein vorzeitiges Beenden der TPU.

TPU-Knoten auf Abruf erstellen

Console

  1. Rufen Sie die TPU-Seite auf der Hauptseite von Compute Engine auf.
  2. Klicken Sie auf TPU-KNOTEN ERSTELLEN, um die Seite zur Erstellung eines TPU-Knotens zu öffnen.
  3. Geben Sie einen Namen für Ihren TPU-Knoten ein.
  4. Wählen Sie die Zone aus, in der der TPU-Knoten erstellt werden soll.
  5. Wählen Sie einen TPU-Typ für Ihren TPU-Knoten aus.
  6. Klicken Sie auf Abrufbarkeit für diesen Knoten aktivieren, um für den TPU-Knoten "auf Abruf" einzustellen.
  7. Wählen Sie die TensorFlow- oder PyTorch-Version aus, die Sie auf Ihrer VM installieren möchten.

gcloud

$ gcloud compute tpus execution-groups create \
  --name=demo-tpu \
  --zone=europe-west4-a \
  --accelerator-type=v3-8 \
  --tf-version=2.7.0 \
  --preemptible
  

Dabei gilt:

  • demo-tpu ist ein Name für die TPU.
  • `--schleuniger-Typ gibt den TPU-Typ an.
  • --tf-version gibt die Version von Tensorflow oder PyTorch an, die auf Ihrer VM installiert werden soll.
  • --preemptible ermöglicht ein vorzeitiges Beenden der TPU.

Bei TPU-Knoten ist der "auf Abruf"-Status einer TPU unabhängig vom "Auf Abruf"-Status Ihrer VM-Instanz.

Preise und Kontingente für TPUs auf Abruf

Die Preise für präemptive TPUs sind deutlich niedriger als für normale TPUs. Weitere Informationen finden Sie auf der Preisseite. Für TPUs, die in der ersten Minute nach dem Erstellen wieder beendet werden, fallen keine Gebühren an.

Das Kontingent für präemptive TPUs ist im Allgemeinen höher und vom Kontingent für normale TPUs unabhängig. Weitere Informationen finden Sie auf der Kontingentseite.

Erkennen, ob eine TPU vorzeitig beendet wurde

Prüfen Sie mit dem folgenden gcloud-Befehl, ob der Cloud TPU-Dienst Ihre TPU vorzeitig beendet hat:

Listen Sie Ihre verfügbaren TPUs auf:

TPU-VM

gcloud compute tpus tpu-vm list --zone=us-central1-b

TPU-Knoten

(vm)$ gcloud compute tpus list --zone=us-central1-b

Der obige Befehl zeigt die Details der TPUs an, die in Ihrem Projekt erstellt wurden. Wenn die TPU vorzeitig beendet wurde, ändert sich der Status von READY in PREEMPTED.

Beispiel:

NAME       ZONE           ACCELERATOR_TYPE  NETWORK_ENDPOINT   NETWORK  RANGE          STATUS
demo-tpu   us-central1-b  v2-8              10.240.1.2:8470    default  10.240.1.0/29  PREEMPTED

VMs und TPUs auf Abruf (nur TPU-Knoten)

Wie in der Kurzanleitung für Ihr Framework beschrieben, benötigen Sie eine Compute Engine-VM (VM), um eine Verbindung zu einer TPU herzustellen. Der Abrufbarkeitsstatus der TPU ist unabhängig vom Abrufbarkeitsstatus der VM. Eine TPU kann als auf Abruf verfügbar und die VM als nicht auf Abruf verfügbar konfiguriert werden und umgekehrt. Sie können auch beide als auf Abruf verfügbar definieren.

Die wahrscheinlichste Kombination ist eine TPU auf Abruf und eine VM auf Abruf. Beachten Sie Folgendes:

  • Die Gebühren für die VM sind im Verhältnis zu den Gebühren für die TPU wahrscheinlich niedrig. Die VM-Gebühren hängen vom verwendeten Maschinentyp ab. Ein einfaches Beispiel für die relativen Kosten finden Sie auf der Preisseite.
  • Cloud TPU koordiniert nicht das vorzeitige Beenden der VM und der TPU. Wenn Sie sie sowohl auf Abruf als auch auf Abruf definieren, können die VM und die TPU zu unterschiedlichen Zeiten vorausgewählt werden.
  • Wenn Compute Engine Ihre VM vorzeitig beendet, werden Ihnen dennoch Kosten für die TPU berechnet (es sei denn, die TPU wird selbst vorzeitig beendet). Beachten Sie, dass sich die TPU im Leerlauf befindet, während die VM vorzeitig beendet wird.
  • Instanzen auf Abruf, sowohl Compute Engine-VM- als auch Cloud TPU-Instanzen, werden nach einer Laufzeit von 24 Stunden immer beendet. Bestimmte Aktionen setzen diese 24-Stunden-Frist zurück.

Erkennen, ob eine VM-Instanz vorzeitig beendet wurde (nur TPU-Knoten)

Wenn Sie prüfen möchten, ob die VM-Instanz vorzeitig beendet wurde, rufen Sie mit dem Befehl gcloud compute operations list eine Liste der letzten Systemvorgänge ab. Fügen Sie einen name-Filter hinzu, um nur die Instanzen anzuzeigen, die Sie derzeit ausführen, oder fügen Sie den Filter operationType hinzu, um nur Ressourcen anzuzeigen, die vorzeitig beendet wurden. Verwenden Sie beispielsweise den folgenden Befehl, um nur Instanzen mit dem angegebenen Instanznamen aufzurufen:

$ gcloud compute operations list--filter="name=( 'NAME' my-vm)"

Im folgenden Beispiel werden nur die Ressourcen angezeigt, die vorzeitig beendet wurden:

$ gcloud compute operations list --filter="operationType=compute.instances.preempted"

Weitere Informationen finden Sie in der Compute Engine-Anleitung.

Anwendung für maschinelles Lernen für die Ausführung auf TPUs auf Abruf entwerfen

Achten Sie darauf, dass Ihre Anwendung den Neustarts von VM und TPU gegenüber resistent ist, indem Sie regelmäßig Modellprüfpunkte speichern und Ihre Anwendung so konfigurieren, dass der neueste Prüfpunkt beim Neustart wiederhergestellt wird.