TPUs auf Abruf

TPUs auf Abruf kosten deutlich weniger als nicht auf Abruf verfügbare TPUs. Der Cloud TPU-Dienst kann diese Knoten jederzeit vorzeitig beenden (herunterfahren), wenn er zusätzliche TPU-Ressourcen benötigt.

TPU VM auf Abruf erstellen

gcloud

$ gcloud compute tpus tpu-vm create demo-tpu \
  --zone=europe-west4-a \
  --accelerator-type=v3-8 \
  --version=tpu-vm-tf-2.18.0-pjrt \
  --preemptible

wobei

  • demo-tpu ist ein Name für die TPU.
  • accelerator-type ist der TPU-Typ. Weitere Informationen zu den unterstützten Beschleunigertypen für jede TPU-Version finden Sie unter TPU-Versionen.
  • version ist das zu installierende Cloud TPU-VM-Image.
  • preemptible ermöglicht ein vorzeitiges Beenden der TPU.

Preise und Kontingente für TPUs auf Abruf

Die Preise für präemptive TPUs sind deutlich niedriger als für normale TPUs. Weitere Informationen finden Sie auf der Preisseite. Für TPUs, die in der ersten Minute nach dem Erstellen wieder beendet werden, fallen keine Gebühren an.

Das Kontingent für präemptive TPUs ist im Allgemeinen höher und vom Kontingent für normale TPUs unabhängig. Weitere Informationen finden Sie auf der Kontingentseite.

Erkennen, ob eine TPU vorzeitig beendet wurde

Sie verwenden den folgenden gcloud-Befehl, um zu prüfen, ob der Cloud TPU-Dienst Ihre TPU vorzeitig beendet hat:

Listen Sie Ihre verfügbaren TPUs auf:

gcloud compute tpus tpu-vm list
  --zone=us-central1-b

Die Ausgabe des Befehls enthält die Details der TPUs, die in Ihrem Projekt erstellt wurden. Wenn die TPU vorzeitig beendet wurde, ändert sich der Status von READY in PREEMPTED.

Beispiel: 

NAME       ZONE           ACCELERATOR_TYPE  NETWORK_ENDPOINT   NETWORK  RANGE          STATUS
demo-tpu   us-central1-b  v2-8              10.240.1.2:8470    default  10.240.1.0/29  PREEMPTED

Anwendung für maschinelles Lernen für die Ausführung auf TPUs auf Abruf entwerfen

Achten Sie darauf, dass Ihre Anwendung den Neustarts von VM und TPU gegenüber resistent ist, indem Sie regelmäßig Modellprüfpunkte speichern und Ihre Anwendung so konfigurieren, dass der neueste Prüfpunkt beim Neustart wiederhergestellt wird.