Was ist KI-Inferenz?

Der vollständige KI-Lebenszyklus umfasst alles von der Datenerhebung bis zum langfristigen Monitoring. Der zentrale Weg eines Modells von der Erstellung bis zur Ausführung lässt sich in drei Hauptphasen unterteilen. Die ersten beiden beziehen sich auf das Lernen, während es beim letzten darum geht, das Gelernte anzuwenden.

• KI-Training ist die grundlegende Lernphase. Es ist ein rechenintensiver Prozess, bei dem ein Modell ein riesiges Dataset analysiert, um Muster und Beziehungen zu erkennen. Ziel ist es, ein präzises und sachkundiges Modell zu erstellen. Dafür sind leistungsstarke Hardwarebeschleuniger (wie GPUs und TPUs) erforderlich und es kann Stunden bis Wochen dauern.
• KI-Feinabstimmung ist eine Abkürzung für das Training. Dabei wird ein leistungsstarkes, vortrainiertes Modell mit einem kleineren, spezialisierten Dataset an eine spezifischere Aufgabe angepasst. Das spart im Vergleich zum Training eines Modells von Grund auf viel Zeit und Ressourcen.
• Die KI-Inferenz ist die Ausführungsphase. Es verwendet das trainierte und abgestimmte Modell, um schnelle Vorhersagen zu neuen, „unbekannten“ Daten zu treffen. Jede einzelne Vorhersage ist weitaus weniger rechenintensiv als das Training, aber Millionen von Vorhersagen in Echtzeit zu liefern, erfordert eine hochoptimierte und skalierbare Infrastruktur.
• KI-Bereitstellung ist der Prozess der Bereitstellung und Verwaltung des Modells für die Inferenz. Dazu gehört oft, das Modell zu verpacken, einen API-Endpunkt einzurichten und die Infrastruktur zur Bearbeitung von Anfragen zu verwalten.

In der folgenden Tabelle sind die wichtigsten Unterschiede zusammengefasst:

Im Wesentlichen umfasst die KI-Inferenz drei Schritte, bei denen neue Daten in eine nützliche Ausgabe umgewandelt werden. 

Sehen wir uns das anhand eines einfachen Beispiels an: ein KI-Modell, das Objekte auf Fotos erkennen soll.

1. Vorbereitung der Eingabedaten: Zuerst werden neue Daten bereitgestellt, zum Beispiel ein Foto, das Sie gerade hochgeladen haben. Das Foto wird sofort für das Modell vorbereitet, was beispielsweise bedeuten kann, dass es auf die genauen Abmessungen verkleinert wird, mit denen das Modell trainiert wurde.
2. Modellausführung: Als Nächstes analysiert das KI-Modell das vorbereitete Foto. Sie sucht nach Mustern wie Farben, Formen und Texturen, die mit dem übereinstimmen, was sie während des Trainings gelernt hat. Diese schnelle Analyse wird als Forward Pass bezeichnet. Dabei wendet das Modell sein Wissen an, ohne etwas Neues zu lernen.
3. Ausgabegenerierung: Das Modell erzeugt ein verwertbares Ergebnis. Bei der Fotoanalyse kann dies ein Wahrscheinlichkeitswert sein (z. B. eine Wahrscheinlichkeit von 95 %, dass das Bild einen „Hund“ enthält). Diese Ausgabe wird dann an die Anwendung gesendet und dem Nutzer angezeigt.

Eine einzelne Inferenz ist zwar schnell, aber Millionen von Nutzern in Echtzeit zu bedienen, erhöht die Latenz und die Kosten und erfordert optimierte Hardware. Spezielle Graphics Processing Units (GPUs) und Tensor Processing Units von Google sind für diese Aufgaben ausgelegt und können sie effizient erledigen. In Kombination mit der Orchestrierung durch die Google Kubernetes Engine lassen sich so der Durchsatz erhöhen und die Latenz verringern.

Dies ist der gängigste Ansatz, bei dem die Inferenz auf leistungsstarken Remote-Servern in einem Rechenzentrum ausgeführt wird. Die Cloud bietet immense Skalierbarkeit und Rechenressourcen und eignet sich daher ideal für die Verarbeitung riesiger Datensätze und komplexer Modelle. In der Cloud gibt es in der Regel zwei primäre Inferenzmodi:

• Echtzeit-Inferenz (online): Einzelne Anfragen werden sofort nach Eingang verarbeitet, oft innerhalb von Millisekunden. Das ist entscheidend für interaktive Anwendungen, die sofortiges Feedback erfordern.
• Batch-Inferenz (offline): Verarbeitet große Datenmengen auf einmal, typischerweise wenn keine sofortigen Antworten erforderlich sind. Es ist eine sehr kosteneffiziente Methode für regelmäßige Analysen oder geplante Aufgaben.

Bei diesem Ansatz wird die Inferenz direkt auf dem Gerät ausgeführt, auf dem die Daten generiert werden – das kann ein Smartphone oder ein Industriesensor sein. Da keine Roundtrips zur Cloud erforderlich sind, bietet die Edge-Inferenz einzigartige Vorteile:

• Geringere Latenz: Antworten erfolgen nahezu sofort, was für Anwendungen wie autonome Fahrzeuge oder Echtzeit-Fertigungsprüfungen entscheidend ist.
• Besserer Datenschutz: Sensible Daten (z. B. medizinische Scans, private Fotos, Videostreams) können auf dem Gerät verarbeitet werden, ohne jemals in die Cloud gesendet zu werden.
• Geringere Bandbreitenkosten: Durch die lokale Verarbeitung von Daten wird die Menge der Daten, die hoch- und heruntergeladen werden müssen, erheblich reduziert.
• Offline-Funktionalität: Die Anwendung kann auch ohne Internetverbindung weiterarbeiten und sorgt so für einen kontinuierlichen Betrieb in abgelegenen oder getrennten Umgebungen.

Um Ihnen die Wahl des besten Ansatzes für Ihre spezifischen Anforderungen zu erleichtern, finden Sie hier einen kurzen Vergleich der wichtigsten Merkmale und Anwendungsfälle für jeden Typ von KI-Inferenz:

Google Cloud bietet eine umfassende Suite von Tools und Diensten, mit denen Entwickler und Unternehmen KI-Inferenz-Arbeitslasten effizient und in großem Umfang erstellen, bereitstellen und verwalten können. Inferenzfunktionen sind in viele Angebote tief integriert:

Vertex AI ist die einheitliche KI-Plattform von Google Cloud. Sie bietet umfassende Tools zum Erstellen, Bereitstellen und Verwalten von ML-Modellen und ist damit der Dienst der Wahl für die meisten cloudbasierten Inferenzen.