AI Hypercomputer ist das integrierte Supercomputing-System, das allen KI-Arbeitslasten in Google Cloud zugrunde liegt. Es besteht aus Hardware, Software und Verbrauchsmodellen, die die KI-Bereitstellung vereinfachen, die Effizienz auf Systemebene verbessern und die Kosten optimieren.
Überblick
Wählen Sie unter Computing- (einschließlich KI-Beschleuniger), Speicher- und Netzwerkoptionen, die für spezifische Ziele auf Arbeitslastebene optimiert sind (höherer Durchsatz, niedrigere Latenz, schnellere Ergebnisse oder niedrigere Gesamtbetriebskosten). Weitere Informationen zu Cloud TPUs, Cloud GPUs und den neuesten Entwicklungen in den Bereichen Speicher und Netzwerk.
Dank branchenführender, in offene Frameworks, Bibliotheken und Compiler eingebundener Software können Sie Ihre Hardware optimal nutzen und die KI-Entwicklung, ‑Einbindung und ‑Verwaltung effizienter gestalten.
Flexible Verbrauchsoptionen ermöglichen es Kunden, feste Kosten mit Rabatten für zugesicherte Nutzung oder dynamischen On-Demand-Modellen zu wählen, um ihre geschäftlichen Anforderungen zu erfüllen.Dank dem Dynamic Workload Scheduler und Spot-VMs können Sie die benötigte Kapazität ohne Überhang erhalten.Außerdem helfen die Tools zur Kostenoptimierung von Google Cloud bei der Automatisierung der Ressourcennutzung, um manuelle Aufgaben zu reduzieren, die von Entwicklern ausgeführt werden müssten.
Funktionsweise
Gängige Einsatzmöglichkeiten
Die Inferenz wird schnell vielfältiger und komplexer und entwickelt sich in drei Hauptbereichen weiter:
PUMA hat sich für eine integrierte KI-Infrastruktur (AI Hypercomputer) von Google Cloud entschieden. So kann das Unternehmen Gemini für Nutzerprompts und Dynamic Workload Scheduler für die dynamische Skalierung von Inferenz auf GPUs nutzen, was Kosten und Generierungszeit erheblich reduziert.
Wirkung:
Die Inferenz wird schnell vielfältiger und komplexer und entwickelt sich in drei Hauptbereichen weiter:
PUMA hat sich für eine integrierte KI-Infrastruktur (AI Hypercomputer) von Google Cloud entschieden. So kann das Unternehmen Gemini für Nutzerprompts und Dynamic Workload Scheduler für die dynamische Skalierung von Inferenz auf GPUs nutzen, was Kosten und Generierungszeit erheblich reduziert.
Wirkung:
Trainingsarbeitslasten müssen als hochgradig synchronisierte Jobs auf Tausenden von Knoten in eng gekoppelten Clustern ausgeführt werden. Ein einzelner beeinträchtigter Knoten kann einen gesamten Job stören und die Markteinführung verzögern. Folgende Schritte sind erforderlich:
Wir möchten es Kunden so einfach wie möglich machen, Trainings-Workloads in Google Cloud bereitzustellen und zu skalieren.
Wenn Sie einen KI-Cluster erstellen möchten, sollten Sie sich eines unserer Tutorials ansehen:
Moloco nutzte den vollständig integrierten AI Hypercomputer-Stack, um automatisch auf fortschrittlicher Hardware wie TPUs und GPUs zu skalieren. So wurden die Ingenieure von Moloco entlastet. Die Integration mit der branchenführenden Datenplattform von Google schuf ein kohäsives End-to-End-System für KI-Arbeitslasten.
Nach der Einführung der ersten Deep-Learning-Modelle verzeichnete Moloco ein rasantes Wachstum und eine hohe Rentabilität. Das Unternehmen konnte seinen Umsatz in 2,5 Jahren verfünffachen.

AssemblyAI
AssemblyAI trainiert Modelle mit Google Cloud schnell und in großem Umfang

LG AI Research konnte Kosten drastisch senken und die Entwicklung beschleunigen, wobei strenge Anforderungen an Datensicherheit und Datenstandort eingehalten wurden.

Anthropic kündigte an, bis zu 1 Million TPUs für das Training und die Bereitstellung von Claude-Modellen im Wert von mehreren zehn Milliarden US-Dollar zu nutzen. Aber wie werden sie in Google Cloud ausgeführt? In diesem Video sehen Sie, wie Anthropic mit GKE die Grenzen der KI-Rechenleistung im großen Maßstab verschiebt.
Trainingsarbeitslasten müssen als hochgradig synchronisierte Jobs auf Tausenden von Knoten in eng gekoppelten Clustern ausgeführt werden. Ein einzelner beeinträchtigter Knoten kann einen gesamten Job stören und die Markteinführung verzögern. Folgende Schritte sind erforderlich:
Wir möchten es Kunden so einfach wie möglich machen, Trainings-Workloads in Google Cloud bereitzustellen und zu skalieren.
Wenn Sie einen KI-Cluster erstellen möchten, sollten Sie sich eines unserer Tutorials ansehen:
Moloco nutzte den vollständig integrierten AI Hypercomputer-Stack, um automatisch auf fortschrittlicher Hardware wie TPUs und GPUs zu skalieren. So wurden die Ingenieure von Moloco entlastet. Die Integration mit der branchenführenden Datenplattform von Google schuf ein kohäsives End-to-End-System für KI-Arbeitslasten.
Nach der Einführung der ersten Deep-Learning-Modelle verzeichnete Moloco ein rasantes Wachstum und eine hohe Rentabilität. Das Unternehmen konnte seinen Umsatz in 2,5 Jahren verfünffachen.

AssemblyAI
AssemblyAI trainiert Modelle mit Google Cloud schnell und in großem Umfang

LG AI Research konnte Kosten drastisch senken und die Entwicklung beschleunigen, wobei strenge Anforderungen an Datensicherheit und Datenstandort eingehalten wurden.

Anthropic kündigte an, bis zu 1 Million TPUs für das Training und die Bereitstellung von Claude-Modellen im Wert von mehreren zehn Milliarden US-Dollar zu nutzen. Aber wie werden sie in Google Cloud ausgeführt? In diesem Video sehen Sie, wie Anthropic mit GKE die Grenzen der KI-Rechenleistung im großen Maßstab verschiebt.
Google Cloud bietet Images mit gängigen Betriebssystemen, Frameworks, Bibliotheken und Treibern. AI Hypercomputer optimiert diese vorkonfigurierten Images, um Ihre KI-Arbeitslasten zu unterstützen.
„Durch die Zusammenarbeit mit Google Cloud und das Einbinden von generativer KI können wir einen maßgeschneiderten Reise-Concierge als Teils unseres Chatbots anbieten. Wir möchten, dass alle Personen, die unseren Service nutzen, nicht einfach nur eine Reise planen, sondern ihr ganz persönliches und einzigartiges Reiseerlebnis gestalten können.“ Martin Brodbeck, CTO, Priceline
Google Cloud bietet Images mit gängigen Betriebssystemen, Frameworks, Bibliotheken und Treibern. AI Hypercomputer optimiert diese vorkonfigurierten Images, um Ihre KI-Arbeitslasten zu unterstützen.
„Durch die Zusammenarbeit mit Google Cloud und das Einbinden von generativer KI können wir einen maßgeschneiderten Reise-Concierge als Teils unseres Chatbots anbieten. Wir möchten, dass alle Personen, die unseren Service nutzen, nicht einfach nur eine Reise planen, sondern ihr ganz persönliches und einzigartiges Reiseerlebnis gestalten können.“ Martin Brodbeck, CTO, Priceline
FAQs
Einzelne Dienste bieten zwar spezifische Funktionen, aber dennoch stellt die AI Hypercomputer-Architektur ein integriertes System bereit, bei dem Hardware, Software und Verbrauchsmodelle optimal aufeinander abgestimmt sind. Diese Einbindung ermöglicht Effizienz auf Systemebene in Bezug auf Leistung, Kosten und Markteinführungszeit – etwas, das durch das Zusammenfügen getrennter Dienste schwerer zu erreichen ist. Die Architektur vereinfacht die Komplexität und bietet einen ganzheitlichen Ansatz für die KI-Infrastruktur.
Ja, AI Hypercomputer ist flexibel einsetzbar. Technologien wie Cross-Cloud Interconnect ermöglichen eine Konnektivität mit hoher Bandbreite zu lokalen Rechenzentren und anderen Clouds und erleichtern so hybride und Multi-Cloud-KI-Strategien. Wir arbeiten mit offenen Standards und binden gängige Drittanbieter-Software ein, damit Sie Lösungen entwickeln können, die mehrere Umgebungen umfassen, und Dienste nach Belieben anpassen können.
Sicherheit ist ein zentraler Aspekt der AI Hypercomputer-Architektur. Sie profitiert vom mehrschichtigen Sicherheitsmodell von Google Cloud. Zu den spezifischen Funktionen gehören Titan-Sicherheitsmikrocontroller (die dafür sorgen, dass Systeme aus einem vertrauenswürdigen Zustand heraus gestartet werden), die RDMA-Firewall (für Zero-Trust-Netzwerke zwischen TPUs/GPUs während des Trainings) und die Einbindung von Lösungen wie Model Armor zur Bereitstellung der KI-Sicherheit. Ergänzt werden diese Funktionen durch robuste Richtlinien und Grundsätze für die Infrastruktursicherheit, wie das Secure AI Framework.
Nein. AI Hypercomputer kann für Arbeitslasten jeder Größe verwendet werden. Auch kleinere Arbeitslasten profitieren von den Vorteilen integrierter Systeme, wie z. B. Effizienz und vereinfachte Bereitstellung. AI Hypercomputer unterstützt Kundenunternehmen auch bei der Skalierung ihrer Geschäfte, von kleinen Proof-of-Concepts und Experimenten bis hin zu groß angelegten Produktionsbereitstellungen.
Für die meisten Kundenunternehmen eignet sich eine verwaltete KI-Plattform wie Vertex AI am Besten als Einstieg in die KI, da sie alle Tools, Vorlagen und Modelle bietet. Außerdem nutzt Vertex AI in einer für Sie optimierten Weise die AI Hypercomputer-Architektur. Vertex AI ist der einfachste Einstieg, da die Plattform sehr benutzerfreundlich ist. Wenn Sie lieber jede einzelne Komponente Ihrer Infrastruktur selbst konfigurieren und optimieren möchten, können Sie auf die Komponenten von AI Hypercomputer als Infrastrukturelemente zugreifen und sie so zusammenstellen, dass sie Ihren Anforderungen entsprechen.
Ja, wir erstellen eine Bibliothek mit Schemas in GitHub. Sie können auch das Cluster Toolkit für vordefinierte Cluster-Blueprints verwenden.
KI-optimierte Hardware
Speicher
Netzwerk
Compute: Sie haben Zugriff auf Google Cloud TPUs (Trillium), NVIDIA-GPUs (Blackwell) und CPUs (Axion). So können Sie die Optimierung an die spezifischen Anforderungen der Arbeitslast in Bezug auf Durchsatz, Latenz oder Gesamtkosten anpassen.
Führende Software und offene Frameworks
Nutzungsmodelle: