Häufig gestellte Fragen – Cloud TPU

Dieses Dokument enthält eine Liste häufig gestellter Fragen zu Cloud TPUs. Sie ist in mehrere Abschnitte unterteilt:

  1. Framework-unabhängige FAQs: Fragen zur Verwendung von Cloud TPUs unabhängig davon, welches ML-Framework Sie verwenden.
  2. JAX FAQS – Fragen zur Verwendung von Cloud TPUs mit JAX
  3. FAQs zu PyTorch – Fragen zur Verwendung von Cloud TPUs mit PyTorch.

Unabhängig vom Framework

Wie finde ich heraus, welcher Prozess die TPU auf einer Cloud TPU-VM verwendet?

Führen Sie sudo lsof -w /dev/accel* auf der Cloud TPU-VM aus, um die Prozess-ID und weitere Informationen zum Prozess mit der TPU auszugeben.

Wie füge ich einer Cloud TPU-VM ein nichtflüchtiges Speicher-Volume hinzu?

Weitere Informationen finden Sie unter TPU-VM einen nichtflüchtigen Speicher hinzufügen.

Welche Speicheroptionen werden für das Training mit TPU-VM unterstützt bzw. empfohlen?

Weitere Informationen finden Sie unter Cloud TPU-Speicheroptionen.

Häufig gestellte Fragen zu JAX

Woher weiß ich, ob die TPU von meinem Programm verwendet wird?

Es gibt verschiedene Möglichkeiten, zu überprüfen, ob JAX die TPU verwendet:

  1. Verwenden Sie die Funktion jax.devices(). Beispiel:

    assert jax.devices()[0].platform == 'tpu'

  2. Erstellen Sie ein Profil für Ihr Programm und prüfen Sie, ob das Profil TPU-Vorgänge enthält. Weitere Informationen finden Sie unter Profilerstellung für JAX-Programme.

Weitere Informationen finden Sie in den JAX-FAQs.

FAQs zu Pytorch

Woher weiß ich, ob die TPU von meinem Programm verwendet wird?

Sie können die folgenden Python-Befehle ausführen:

>>> import torch_xla.core.xla_model as xm
>>> xm.get_xla_supported_devices(devkind="TPU")

Prüfen Sie, ob Sie TPU-Geräte sehen.