Für eine effektive Optimierung müssen Sie die beiden unterschiedlichen Phasen der LLM-Inferenz kennen:

1. Ziel beschreiben: Sie beginnen mit einer nicht optimierten Modellbereitstellung.
2. Quantisierung anwenden: Reduzieren Sie die Modellgewichtungen (z. B. auf 4 Bit), damit größere Batches in den Arbeitsspeicher passen.
3. Attention optimieren: Verwenden Sie FlashAttention oder Grouped-Query Attention (GQA), um die Kosten für Speicherbewegungen zu minimieren.
4. Arbeitsspeicher verwalten: Implementieren Sie PagedAttention, um KV-Caches in nicht zusammenhängenden Blöcken zu speichern und so die Fragmentierung zu vermeiden.
5. Ausführen und überwachen: Mit In-Flight-Batching bereitstellen, um sofort neue Anfragen zu starten, wenn andere abgeschlossen sind

So unterscheidet sich die optimierte Inferenz von der herkömmlichen „naiven“ Modellbereitstellung:

Google Cloud bietet eine Reihe von Tools, die für unterschiedliche Kenntnisstände und architektonische Anforderungen entwickelt wurden.

Model Garden ist der schnellste Weg zur Bereitstellung optimierter Versionen führender offener Modelle wie Llama, Gemma und Mistral.

Rufen Sie Model Garden auf und suchen Sie nach einem unterstützten OSS-Modell. Klicken Sie auf Bereitstellen. Wählen Sie in der Konfiguration eine optimierte Laufzeit wie vLLM oder NVIDIA NIM aus.

Wählen Sie eine quantisierte Version des Modells (z. B. 4-Bit oder 8-Bit) aus, um den Speicherbedarf zu reduzieren. So können Sie mit derselben GPU größere Batchgrößen verarbeiten und den Durchsatz direkt erhöhen.

Achten Sie darauf, dass der Bereitstellungscontainer für die Verwendung von PagedAttention konfiguriert ist. Mit dieser Technik kann das Modell sein „Gedächtnis“ (Key-Value-Cache) in nicht zusammenhängenden Blöcken speichern, was Speicherverschwendung vermeidet und längere Kontextfenster ermöglicht.

Nach der Bereitstellung übernimmt Vertex AI automatisch die Batchverarbeitung während der Übertragung und verarbeitet neue Anfragen, sobald eine bestehende Anfrage ein Token abgeschlossen hat. Mit Vertex AI Model Monitoring können Sie die Latenz verfolgen und dafür sorgen, dass die Qualität der Ausgabe hoch bleibt.

Für Teams, die eine detaillierte Kontrolle über ihre Orchestrierung und benutzerdefinierte Inferenz-Kernel benötigen, ist GKE die branchenübliche Wahl.

GKE-Cluster mit spezialisierten GPU-Knoten (z. B. L4 oder H100) bereitstellen. Installieren Sie den NVIDIA GPU Operator, um die Treiberverwaltung und Leistungsoptimierung automatisch zu erledigen.

Verwenden Sie eine containerisierte Inferenz-Engine wie vLLM oder Triton Inference Server. Diese Server unterstützen Continuous Batching und Tensorparallelität, sodass Sie große Modelle auf mehrere GPUs aufteilen können. Mit vLLM können Sie außerdem mit minimalem zusätzlichem Programmieraufwand zwischen TPUs und GPUs wechseln.

Für geschäftskritische Latenzanforderungen konfigurieren Sie die spekulative Decodierung. Dabei wird ein kleineres, schnelleres „Entwurfsmodell“ verwendet, um Tokens vorherzusagen, die dann parallel von Ihrem größeren „Zielmodell“ überprüft werden. Dies führt oft zu einer 2- bis 3-fachen Beschleunigung.

GKE Inference Quickstart fungiert als vorkonfigurierte Datenbank mit getesteten Inferenz-Stack-Konfigurationen. Wenn Sie Ihr Modell, die Latenzanforderungen und die Kostenprioritäten angeben, erhalten Sie Empfehlungen, die auf Best Practices und den neuesten Benchmarks basieren. So können Sie die Leistungsmesswerte für die Inferenz überwachen und Ihre Bereitstellung dynamisch optimieren, damit sie immer mit der bestmöglichen Technologie ausgeführt wird.

Das GKE Inference Gateway ist jetzt allgemein verfügbar und bietet zwei erweiterte Funktionen für die Verwaltung komplexer Anwendungen, die auf generativer KI basieren.

• Präfixbasiertes Routing: Bei Anwendungen wie Unterhaltungen in mehreren Runden oder Dokumentanalysen werden Anfragen an die Beschleuniger weitergeleitet, die den Kontext bereits im Cache haben, wodurch die Antwortzeiten verbessert werden.
• Disaggregated Serving: Bei dieser Technik wird die anfängliche „Prefill“-Phase (Promptverarbeitung) von der „Decode“-Phase (Tokenerzeugung) getrennt. Da diese Phasen unterschiedliche Ressourcenanforderungen haben, können Sie sie in separaten, optimierten Maschinenpools ausführen, um die Effizienz zu maximieren.

Anywhere Cache ist ein neuer, vollständig konsistenter Lesecache, der mit vorhandenen Google Cloud Storage-Buckets (GCS) funktioniert, um Daten in derselben Zone wie Ihre Beschleuniger zu speichern. Das reduziert die Leselatenz um bis zu 96 % und minimiert die Netzwerkkosten für leseintensive Arbeitslasten.

Die gesamte Infrastruktur wird durch Cloud WAN verbunden, ein vollständig verwaltetes globales Netzwerk, das auf der globalen Infrastruktur von Google aufbaut. Cloud WAN verbindet KI-Rechenressourcen in verschiedenen Regionen, Clouds und lokalen Umgebungen und bietet eine um 40 % höhere Leistung bei Inferenzanwendungen und um 40 % niedrigere Gesamtbetriebskosten im Vergleich zu herkömmlichen WAN-Lösungen.