Häufig gestellte Fragen – Cloud TPU

Dieses Dokument enthält eine Liste häufig gestellter Fragen zu Cloud TPUs. Es ist in Abschnitte unterteilt:

  1. Framework-unabhängige FAQs: Fragen zur Verwendung von Cloud TPUs unabhängig vom verwendeten ML-Framework.
  2. Häufig gestellte Fragen zu JAX – Fragen zur Verwendung von Cloud TPUs mit JAX
  3. Häufig gestellte Fragen zu PyTorch – Fragen zur Verwendung von Cloud TPUs mit PyTorch

Framework-unabhängige FAQs

Wie finde ich heraus, welcher Prozess die TPU auf einer Cloud TPU-VM verwendet?

Führen Sie sudo lsof -w /dev/accel* auf der Cloud TPU-VM aus, um die Prozess-ID und andere Informationen zum Prozess mit der TPU zu drucken.

Wie füge ich einer Cloud TPU-VM ein Persistent Disk-Volume hinzu?

Weitere Informationen finden Sie unter Nichtflüchtigen Speicher zu einer TPU-VM hinzufügen.

Welche Speicheroptionen werden für das Training mit TPU-VM unterstützt/empfohlen?

Weitere Informationen finden Sie unter Speicheroptionen für Cloud TPUs.

Häufig gestellte Fragen zu JAX

Woher weiß ich, ob die TPU von meinem Programm verwendet wird?

Es gibt mehrere Möglichkeiten, zu prüfen, ob JAX die TPU verwendet:

  1. Verwenden Sie die Funktion jax.devices(). Beispiel:

    assert jax.devices()[0].platform == 'tpu'
    
  2. Erstellen Sie ein Profil für Ihr Programm und prüfen Sie, ob das Profil TPU-Vorgänge enthält. Weitere Informationen finden Sie unter Profilerstellung für JAX-Programme.

Weitere Informationen finden Sie unter JAX-FAQ.

Pytorch-FAQs

Woher weiß ich, ob die TPU von meinem Programm verwendet wird?

Sie können die folgenden Python-Befehle ausführen:

>>> import torch_xla.core.xla_model as xm
>>> xm.get_xla_supported_devices(devkind="TPU")

Und prüfen Sie, ob Sie TPU-Geräte sehen können.