Anleitungen, Kurzanleitungen und Dokumente für Cloud TPUsCloud Tensor Processing Units (TPUs)
KI-Entwicklung mit Google Cloud TPUs beschleunigen
Sie sind sich nicht sicher, ob TPUs die richtige Wahl sind? Hier erfahren Sie, wann Sie in Compute Engine-Instanzen GPUs oder CPUs zum Ausführen Ihrer ML-Arbeitslasten verwenden sollten.
Überblick
Was ist eine Tensor Processing Unit (TPU)?
Welche Vorteile bietet das Cloud TPUs?
Wann sollten Cloud TPUs verwendet werden?
Wie unterscheiden sich Cloud TPUs von GPUs?
Eine GPU ist ein spezieller Prozessor, der ursprünglich für die Manipulation von Computergrafiken entwickelt wurde. Ihre parallele Struktur macht sie ideal für Algorithmen, die große Datenblöcke verarbeiten, welche häufig in ML-Arbeitslasten enthalten sind. Weitere Informationen
Eine TPU ist ein anwendungsspezifischer integrierter Schaltkreis (Application-Specific Integrated Circuit, ASIC), der von Google für neuronale Netzwerke entwickelt wurde. TPUs haben spezielle Features wie die Matrixmultiplikationseinheit (MXU) und die proprietäre Interconnect-Topologie, die sich ideal für ein schnelleres KI-Training und für die Inferenz eignen.
Cloud TPU-Versionen
Cloud TPU v5e
Die effizienteste, vielseitigste und skalierbarste Cloud TPU.
Cloud TPU v5e wird in Nordamerika (Regionen West/Central/Ost der USA), EMEA (Niederlande) und APAC (Singapur) verfügbar sein
Cloud TPU v4
Die leistungsstärkste Cloud TPU zum Trainieren von KI-Modellen.
Cloud TPUv4 ist in der Region us-central2 verfügbar
| Cloud TPU-Version | Beschreibung | Verfügbarkeit |
|---|---|---|
|
Cloud TPU v5e |
Die effizienteste, vielseitigste und skalierbarste Cloud TPU. |
Cloud TPU v5e wird in Nordamerika (Regionen West/Central/Ost der USA), EMEA (Niederlande) und APAC (Singapur) verfügbar sein |
|
Cloud TPU v4 |
Die leistungsstärkste Cloud TPU zum Trainieren von KI-Modellen. |
Cloud TPUv4 ist in der Region us-central2 verfügbar |
Funktionsweise
Erhalten Sie einen Einblick in die Magie der Google Cloud TPUs und erhalten Sie einen seltenen Einblick in die Rechenzentren, in denen alles stattfindet. Kunden nutzen Cloud TPUs, um einige der weltweit größten KI-Arbeitslasten auszuführen, und die Leistung basiert nicht nur auf einem Chip. In diesem Video werfen wir einen Blick auf die Komponenten des TPU-Systems, darunter das Netzwerk von Rechenzentren, optische Schalter, Wasserkühlsysteme, biometrische Sicherheitsprüfung und mehr.
Gängige Einsatzmöglichkeiten
Große KI-Trainingsarbeitslasten ausführen
Kostengünstige Skalierung mit Cloud TPU-Multislice
TPU v5e bietet eine bis zu doppelt so hohe Trainingsleistung pro Dollar für LLMs und Gen AI-Modelle im Vergleich zu TPU v4. Mit der Multislice-Technologie können Nutzer KI-Modelle ganz einfach über einen einzelnen TPU-Pod hinaus skalieren und auf Zehntausenden von Cloud TPU-Chips trainieren, sowohl für TPU v5e als auch TPU v4. Mit Multislice können Entwickler dasselbe XLA-Programmiermodell nutzen, um Arbeitslasten über Inter-Chip Interconnect (ICI) innerhalb eines einzelnen Pods oder über Pods in einem Rechenzentrumsnetzwerk hinweg (DCN) zu skalieren.
Grundlegende KI-Modelle optimieren
LLMs mit Pytorch/XLA für Ihre Anwendungen anpassen
Sie können Basismodelle effizient optimieren, indem Sie Ihre eigenen Trainingsdaten für Ihren Anwendungsfall nutzen. Cloud TPU v5e bietet im Vergleich zu Cloud TPU v4 eine bis zu 1,9-mal höhere LLM-Feinabstimmungsleistung pro Dollar.
Große KI-Inferenzarbeitslasten bereitstellen
Maximale Leistung/USD mit skalierbarer KI-Infrastruktur
Cloud TPU v5e ermöglicht leistungsstarke und kostengünstige Inferenz für eine Vielzahl von KI-Arbeitslasten, einschließlich der neuesten LLMs und Gen AI-Modelle. TPU v5e bietet eine bis zu 2,5-mal höhere Durchsatzleistung pro US-Dollar und eine bis zu 1,7-fache Beschleunigung gegenüber Cloud TPU v4. Jeder TPU v5e-Chip bietet bis zu 393 Billionen int8-Vorgänge pro Sekunde, sodass komplexe Modelle schnelle Vorhersagen treffen können. Ein TPU v5e-Pod bietet bis zu 100 Billiarden int8-Vorgänge pro Sekunde oder 100 PetaOps Rechenleistung.
Hier finden Sie weitere Informationen.
Cloud TPU in GKE
Mühelose Skalierung mit GKE
Kombinieren Sie die Leistungsfähigkeit von Cloud TPUs mit der Flexibilität und Skalierbarkeit von GKE, um Modelle für maschinelles Lernen schneller und einfacher als je zuvor zu erstellen und bereitzustellen. Dank der in GKE verfügbaren Cloud TPUs haben Sie jetzt eine einzige konsistente Betriebsumgebung für alle Arbeitslasten und können damit automatisierte MLOps-Pipelines standardisieren.
Cloud TPU in Vertex AI
Vertex AI – Training und Vorhersagen mit Cloud TPUs
Kunden, die nach der einfachsten Möglichkeit zur Entwicklung von KI-Modellen suchen, können Cloud TPU v5e mit Vertex AI bereitstellen, einer End-to-End-Plattform zum Erstellen von KI-Modellen auf einer vollständig verwalteten Infrastruktur, die auf Bereitstellung mit niedriger Latenz und Hochleistungstraining ausgelegt ist.
Preise
Cloud TPU-Preise
Alle Cloud TPU-Preise werden pro Chipstunde berechnet
Ab
1.200 $
pro Chipstunde
Ab
0,8400 $
pro Chipstunde
Ab
0,5400 $
pro Chipstunde
Cloud TPU v4
Ab
3.2200 $
pro Chipstunde
Ab
2.0286 $
pro Chipstunde
Ab
1.4490 $
pro Chipstunde
| Cloud TPU-Preise | Alle Cloud TPU-Preise werden pro Chipstunde berechnet | ||
|---|---|---|---|
| Cloud TPU-Version | Kennenlernpreis (in $) | Zusicherung für 1 Jahr (USD) | Zusicherung für 3 Jahre (USD) |
| Cloud TPU v5e |
Ab 1.200 $ pro Chipstunde |
Ab 0,8400 $ pro Chipstunde |
Ab 0,5400 $ pro Chipstunde |
|
Cloud TPU v4 |
Ab 3.2200 $ pro Chipstunde |
Ab 2.0286 $ pro Chipstunde |
Ab 1.4490 $ pro Chipstunde |