TPUs sind von Google entwickelte, speziell angepasste anwendungsspezifische integrierte Schaltungen (ASICs). Sie wurden von Grund auf speziell für die Beschleunigung von Arbeitslasten im Bereich Machine Learning und künstliche Intelligenz entwickelt. TPUs sind speziell für die aufwendigen Matrixmultiplikationen und Tensoroperationen optimiert, die als grundlegende Bausteine neuronaler Netzwerke dienen und alles von Large Language Models bis hin zu komplexen Reasoning Agents ermöglichen.

Das Herzstück einer TPU ist eine spezialisierte Matrix Multiplier Unit (MXU), die riesige Mengen an Matrixoperationen gleichzeitig verarbeitet. TPUs nutzen eine „systolische Array“-Architektur, die Daten einmal liest und sie kontinuierlich durch Tausende von arithmetisch-logischen Einheiten (ALUs) leitet. Dabei werden Ergebnisse akkumuliert, ohne dass ständig in den Speicher gelesen und geschrieben werden muss. Sie unterstützen auch Arithmetik mit reduzierter Genauigkeit (wie 16-Bit- oder 8-Bit-Gleitkomma), was Millionen von Berechnungen pro Sekunde ermöglicht, ohne die für KI-Modelle erforderliche Genauigkeit zu beeinträchtigen.

Cloud TPUs unterstützen native, leistungsstarke führende Frameworks für maschinelles Lernen, vor allem TensorFlow, PyTorch und JAX. Code, der in diesen Frameworks geschrieben wurde, wird vom XLA-Compiler (Accelerated Linear Algebra) kompiliert, der den Berechnungsgraphen automatisch optimiert, damit er effizient auf der zugrunde liegenden TPU-Hardware ausgeführt werden kann.

TPUs eignen sich hervorragend für Deep-Learning-Aufgaben, die massive parallele Matrixoperationen erfordern. Sie werden dringend empfohlen für:

• Modelle, die von Matrixberechnungen dominiert werden
• Trainingsläufe, die Wochen oder Monate dauern, bis sie konvergieren
• Große Foundation Models und Large Language Models (LLMs)
• Arbeitslasten mit extrem großen Einbettungen, wie z. B. erweiterte Empfehlungs-Engines
• Kontinuierliches bestärkendes Lernen und Inferenz mit hohem Volumen und niedriger Latenz

Ein TPU-Pod ist ein riesiger physischer Cluster von TPU-Chips, die über ein spezielles Hochgeschwindigkeitsnetzwerk (wie das Optical Circuit Switching- oder Virgo-Netzwerk von Google) miteinander verbunden sind. Ein einzelner Superpod kann Tausende miteinander verbundene Chips enthalten. Ein „Slice“ ist eine kleinere, dedizierte Teilmenge eines Pods, die Sie mieten können. Diese Netzwerkarchitektur ermöglicht es Entwicklungsteams, ihre KI-Arbeitslasten mit wenig bis gar keinen Codeänderungen über riesige Mengen an Rechenleistung zu skalieren und den gesamten Slice effektiv als eine einzige einheitliche Maschine zu betreiben. 

Goodput bezeichnet die tatsächliche, produktive Zeit, während der Ihre Infrastruktur aktiv Ihr Modell trainiert, anstatt im Leerlauf zu sein. Das Training riesiger Foundation Models erfordert eine komplexe Orchestrierung über Tausende von Chips hinweg. Daher können Rechenzyklen leicht durch Verzögerungen bei der Datenübertragung, Hardware-Resets oder Checkpointing verschwendet werden. Cloud TPUs sind so konzipiert, dass der Goodput durch Interconnects mit hoher Bandbreite und optimiertes Speicher-Caching maximiert wird. So wird sichergestellt, dass die bezahlten Rechenzyklen direkt zur Modellentwicklung beitragen.

Nutzer können Zuverlässigkeit, umfassendes Monitoring und Verwaltung mit der Google Kubernetes Engine (GKE) und Cluster Director unterstützen. Durch die Nutzung von GKE für TPU können Kunden in einer cloudnativen Umgebung arbeiten, die Inference Gateway für den Lastenausgleich nutzt und die Möglichkeit bietet, Bereitstellungen auf bis zu 130.000 GKE-Knoten zu skalieren.