Cloud Tensor Processing Units (TPUs)
AI-Entwicklung mit Google Cloud TPUs beschleunigen
Sie sind sich nicht sicher, ob TPUs die richtige Wahl sind? Hier erfahren Sie, wann Sie in Compute Engine-Instanzen GPUs oder CPUs zum Ausführen Ihrer ML-Arbeitslasten verwenden sollten.
Überblick
Was ist eine Tensor Processing Unit (TPU)?
Welche Vorteile bieten Cloud TPUs?
Wann sollten Cloud TPUs verwendet werden?
Wie unterscheiden sich Cloud TPUs von GPUs?
Eine GPU ist ein spezieller Prozessor, der ursprünglich für die Manipulation von Computergrafiken entwickelt wurde. Ihre parallele Struktur macht sie ideal für Algorithmen, die große Datenblöcke verarbeiten, welche häufig in ML-Arbeitslasten enthalten sind. Weitere Informationen
Eine TPU ist ein anwendungsspezifischer integrierter Schaltkreis (Application-Specific Integrated Circuit, ASIC), der von Google für neuronale Netzwerke entwickelt wurde. TPUs haben spezielle Features wie die Matrixmultiplikationseinheit (MXU) und die proprietäre Interconnect-Topologie, die sich ideal für ein schnelleres KI-Training und für die Inferenz eignen.
Cloud TPU-Versionen
| Cloud TPU-Version | Beschreibung | Verfügbarkeit |
|---|---|---|
Cloud TPU v5e | Die effizienteste, vielseitigste und skalierbarste Cloud TPU. | Cloud TPU v5e ist allgemein in Nordamerika (Regionen West/Ost) verfügbar |
Cloud TPU v4 | Die leistungsstärkste Cloud TPU zum Trainieren von KI-Modellen. | Cloud TPUv4 ist in der Region us-central2 verfügbar |
Cloud TPU v5e ist in Nordamerika (us-east5 und us-west4) allgemein verfügbar.
Cloud TPU v5e
Die effizienteste, vielseitigste und skalierbarste Cloud TPU.
Cloud TPU v5e ist allgemein in Nordamerika (Regionen West/Ost) verfügbar
Cloud TPU v4
Die leistungsstärkste Cloud TPU zum Trainieren von KI-Modellen.
Cloud TPUv4 ist in der Region us-central2 verfügbar
Cloud TPU v5e ist in Nordamerika (us-east5 und us-west4) allgemein verfügbar.
Funktionsweise
Erhalten Sie einen Einblick in die Magie der Google Cloud TPUs und erhalten Sie einen seltenen Einblick in die Rechenzentren, in denen alles stattfindet. Kunden nutzen Cloud TPUs, um einige der weltweit größten KI-Arbeitslasten auszuführen, und die Leistung basiert nicht nur auf einem Chip. In diesem Video werfen wir einen Blick auf die Komponenten des TPU-Systems, darunter das Netzwerk von Rechenzentren, optische Schalter, Wasserkühlsysteme, biometrische Sicherheitsprüfung und mehr.
Gängige Einsatzmöglichkeiten
Große KI-Trainingsarbeitslasten ausführen
Kostengünstige Skalierung mit Cloud TPU-Multislice
Das Cloud TPU-Multislice-Training ist eine Full-Stack-Technologie, die ein schnelles, einfaches und zuverlässiges Training großer KI-Modelle mit Zehntausenden TPU-Chips ermöglicht.
Weitere Ressourcen
Kostengünstige Skalierung mit Cloud TPU-Multislice
Das Cloud TPU-Multislice-Training ist eine Full-Stack-Technologie, die ein schnelles, einfaches und zuverlässiges Training großer KI-Modelle mit Zehntausenden TPU-Chips ermöglicht.
Grundlegende KI-Modelle optimieren
LLMs mit Pytorch/XLA für Ihre Anwendungen anpassen
Sie können Basismodelle effizient optimieren, indem Sie Ihre eigenen Trainingsdaten für Ihren Anwendungsfall nutzen. Cloud TPU v5e bietet im Vergleich zu Cloud TPU v4 eine bis zu 1,9-mal höhere LLM-Feinabstimmungsleistung pro Dollar.
Weitere Ressourcen
LLMs mit Pytorch/XLA für Ihre Anwendungen anpassen
Sie können Basismodelle effizient optimieren, indem Sie Ihre eigenen Trainingsdaten für Ihren Anwendungsfall nutzen. Cloud TPU v5e bietet im Vergleich zu Cloud TPU v4 eine bis zu 1,9-mal höhere LLM-Feinabstimmungsleistung pro Dollar.
Große KI-Inferenzarbeitslasten bereitstellen
Maximale Leistung/USD mit skalierbarer KI-Infrastruktur
Cloud TPU v5e ermöglicht leistungsstarke und kostengünstige Inferenz für eine Vielzahl von KI-Arbeitslasten, einschließlich der neuesten LLMs und Gen AI-Modelle. TPU v5e bietet eine bis zu 2,5-mal höhere Durchsatzleistung pro US-Dollar und eine bis zu 1,7-fache Beschleunigung gegenüber Cloud TPU v4. Jeder TPU v5e-Chip bietet bis zu 393 Billionen int8-Vorgänge pro Sekunde, sodass komplexe Modelle schnelle Vorhersagen treffen können. Ein TPU v5e-Pod bietet bis zu 100 Billiarden int8-Vorgänge pro Sekunde oder 100 PetaOps Rechenleistung.
Weitere Ressourcen
Maximale Leistung/USD mit skalierbarer KI-Infrastruktur
Cloud TPU v5e ermöglicht leistungsstarke und kostengünstige Inferenz für eine Vielzahl von KI-Arbeitslasten, einschließlich der neuesten LLMs und Gen AI-Modelle. TPU v5e bietet eine bis zu 2,5-mal höhere Durchsatzleistung pro US-Dollar und eine bis zu 1,7-fache Beschleunigung gegenüber Cloud TPU v4. Jeder TPU v5e-Chip bietet bis zu 393 Billionen int8-Vorgänge pro Sekunde, sodass komplexe Modelle schnelle Vorhersagen treffen können. Ein TPU v5e-Pod bietet bis zu 100 Billiarden int8-Vorgänge pro Sekunde oder 100 PetaOps Rechenleistung.
Cloud TPU in GKE
Mühelose Skalierung mit GKE
Kombinieren Sie die Leistungsfähigkeit von Cloud TPUs mit der Flexibilität und Skalierbarkeit von GKE, um Modelle für maschinelles Lernen schneller und einfacher als je zuvor zu erstellen und bereitzustellen. Dank der in GKE verfügbaren Cloud TPUs haben Sie jetzt eine einzige konsistente Betriebsumgebung für alle Arbeitslasten und können damit automatisierte MLOps-Pipelines standardisieren.
Weitere Ressourcen
Mühelose Skalierung mit GKE
Kombinieren Sie die Leistungsfähigkeit von Cloud TPUs mit der Flexibilität und Skalierbarkeit von GKE, um Modelle für maschinelles Lernen schneller und einfacher als je zuvor zu erstellen und bereitzustellen. Dank der in GKE verfügbaren Cloud TPUs haben Sie jetzt eine einzige konsistente Betriebsumgebung für alle Arbeitslasten und können damit automatisierte MLOps-Pipelines standardisieren.
Cloud TPU in Vertex AI
Vertex AI – Training und Vorhersagen mit Cloud TPUs
Kunden, die nach der einfachsten Möglichkeit zur Entwicklung von KI-Modellen suchen, können Cloud TPU v5e mit Vertex AI bereitstellen, einer End-to-End-Plattform zum Erstellen von KI-Modellen auf einer vollständig verwalteten Infrastruktur, die auf Bereitstellung mit niedriger Latenz und Hochleistungstraining ausgelegt ist.
Weitere Ressourcen
Vertex AI – Training und Vorhersagen mit Cloud TPUs
Kunden, die nach der einfachsten Möglichkeit zur Entwicklung von KI-Modellen suchen, können Cloud TPU v5e mit Vertex AI bereitstellen, einer End-to-End-Plattform zum Erstellen von KI-Modellen auf einer vollständig verwalteten Infrastruktur, die auf Bereitstellung mit niedriger Latenz und Hochleistungstraining ausgelegt ist.
Preise
| Cloud TPU-Preise | Alle Cloud TPU-Preise werden pro Chipstunde berechnet | ||
|---|---|---|---|
| Cloud TPU-Version | Kennenlernpreis (in $) | Zusicherung für 1 Jahr (USD) | Zusicherung für 3 Jahre (USD) |
| Cloud TPU v5e | Ab 1.200 $ pro Chipstunde | Ab 0,8400 $ pro Chipstunde | Ab 0,5400 $ pro Chipstunde |
Cloud TPU v4 | Ab 3.2200 $ pro Chipstunde | Ab 2.0286 $ pro Chipstunde | Ab 1.4490 $ pro Chipstunde |
Die Preise für Cloud TPU variieren je nach Produkt und Region. Details ansehen
Cloud TPU-Preise
Alle Cloud TPU-Preise werden pro Chipstunde berechnet
Ab
1.200 $
pro Chipstunde
Ab
0,8400 $
pro Chipstunde
Ab
0,5400 $
pro Chipstunde
Cloud TPU v4
Ab
3.2200 $
pro Chipstunde
Ab
2.0286 $
pro Chipstunde
Ab
1.4490 $
pro Chipstunde
Die Preise für Cloud TPU variieren je nach Produkt und Region. Details ansehen
PREISRECHNER
INDIVIDUELLES ANGEBOT
Proof of Concept starten
Cloud TPUs kostenlos testen
Kurze Einführung in Cloud TPUs
TensorFlow auf der Cloud TPU-VM ausführen
JAX auf der Cloud TPU-VM ausführen
