Was ist KI-Inferenz?

Der vollständige KI-Lebenszyklus umfasst alles von der Datenerhebung bis zum langfristigen Monitoring. Der zentrale Weg eines Modells von der Erstellung bis zur Ausführung lässt sich in drei Hauptphasen unterteilen. Die ersten beiden beziehen sich auf das Lernen, während es beim letzten darum geht, das Gelernte anzuwenden.

• KI-Training ist die grundlegende Lernphase. Es ist ein rechenintensiver Prozess, bei dem ein Modell ein riesiges Dataset analysiert, um Muster und Beziehungen zu erkennen. Ziel ist es, ein präzises und sachkundiges Modell zu erstellen. Dafür sind leistungsstarke Hardwarebeschleuniger (wie GPUs und TPUs) erforderlich und es kann Stunden bis Wochen dauern.
• KI-Feinabstimmung ist eine Abkürzung für das Training. Dabei wird ein leistungsstarkes, vortrainiertes Modell mit einem kleineren, spezialisierten Dataset an eine spezifischere Aufgabe angepasst. Das spart im Vergleich zum Training eines Modells von Grund auf viel Zeit und Ressourcen.
• Die KI-Inferenz ist die Ausführungsphase. Es verwendet das trainierte und abgestimmte Modell, um schnelle Vorhersagen zu neuen, „unbekannten“ Daten zu treffen. Jede einzelne Vorhersage ist weitaus weniger rechenintensiv als das Training, aber Millionen von Vorhersagen in Echtzeit zu liefern, erfordert eine hochoptimierte und skalierbare Infrastruktur.
• KI-Bereitstellung ist der Prozess der Bereitstellung und Verwaltung des Modells für die Inferenz. Dazu gehört oft, das Modell zu verpacken, einen API-Endpunkt einzurichten und die Infrastruktur zur Bearbeitung von Anfragen zu verwalten.

In der folgenden Tabelle sind die wichtigsten Unterschiede zusammengefasst:

Im Wesentlichen umfasst die KI-Inferenz drei Schritte, bei denen neue Daten in eine nützliche Ausgabe umgewandelt werden. 

Sehen wir uns das anhand eines einfachen Beispiels an: ein KI-Modell, das Objekte auf Fotos erkennen soll.

1. Vorbereitung der Eingabedaten: Zuerst werden neue Daten bereitgestellt, zum Beispiel ein Foto, das Sie gerade hochgeladen haben. Das Foto wird sofort für das Modell vorbereitet, was beispielsweise bedeuten kann, dass es auf die genauen Abmessungen verkleinert wird, mit denen das Modell trainiert wurde.
2. Modellausführung: Als Nächstes analysiert das KI-Modell das vorbereitete Foto. Es sucht nach Mustern wie Farben, Formen und Texturen, die mit dem übereinstimmen, was es während des Trainings erlernt hat. Diese schnelle Analyse wird als Forward Pass bezeichnet. Dabei wendet das Modell sein Wissen an, ohne etwas Neues zu lernen.
3. Ausgabegenerierung: Das Modell erzeugt ein verwertbares Ergebnis. Bei der Fotoanalyse kann dies ein Wahrscheinlichkeitswert sein (z. B. eine Wahrscheinlichkeit von 95 %, dass das Bild einen „Hund“ enthält). Diese Ausgabe wird dann an die Anwendung gesendet und dem Nutzer angezeigt.

Eine einzelne Inferenz ist zwar schnell, aber Millionen von Nutzern in Echtzeit zu bedienen, erhöht die Latenz und die Kosten und erfordert optimierte Hardware. Auf KI spezialisierte Graphics Processing Units (GPUs) und die Tensor Processing Units von Google sind für diese Aufgaben ausgelegt und können sie effizient erledigen. In Kombination mit der Orchestrierung durch die Google Kubernetes Engine lassen sich so der Durchsatz erhöhen und die Latenz verringern.

Dies ist der gängigste Ansatz, bei dem die Inferenz auf leistungsstarken Remote-Servern in einem Rechenzentrum ausgeführt wird. Die Cloud bietet immense Skalierbarkeit und Rechenressourcen und eignet sich daher ideal für die Verarbeitung riesiger Datensätze und komplexer Modelle. In der Cloud gibt es in der Regel zwei primäre Inferenzmodi:

• Echtzeit-Inferenz (online): Einzelne Anfragen werden sofort nach Eingang verarbeitet, oft innerhalb von Millisekunden. Das ist entscheidend für interaktive Anwendungen, die sofortiges Feedback erfordern.
• Batch-Inferenz (offline): Verarbeitet große Datenmengen auf einmal, typischerweise wenn keine sofortigen Antworten erforderlich sind. Dies ist eine sehr kosteneffiziente Methode für regelmäßige Analysen oder geplante Aufgaben.

Bei diesem Ansatz wird die Inferenz direkt auf dem Gerät ausgeführt, auf dem die Daten generiert werden – z. B. auf einem Smartphone oder einem Industriesensor. Da keine Roundtrips zur Cloud erforderlich sind, bietet die Edge-Inferenz einzigartige Vorteile:

• Geringere Latenz: Antworten erfolgen nahezu sofort, was für Anwendungen wie autonome Fahrzeuge oder Echtzeit-Fertigungsprüfungen entscheidend ist.
• Besserer Datenschutz: Sensible Daten (z. B. medizinische Scans, private Fotos, Videostreams) können auf dem Gerät verarbeitet werden, ohne jemals in die Cloud gesendet zu werden.
• Geringere Bandbreitenkosten: Durch die lokale Verarbeitung von Daten wird die Menge der Daten, die hoch- und heruntergeladen werden müssen, erheblich reduziert.
• Offline-Funktionalität: Die Anwendung kann auch ohne Internetverbindung weiterarbeiten und sorgt so für einen kontinuierlichen Betrieb in abgelegenen oder getrennten Umgebungen.

Um Ihnen die Wahl des besten Ansatzes für Ihre spezifischen Anforderungen zu erleichtern, finden Sie hier einen kurzen Vergleich der wichtigsten Merkmale und Anwendungsfälle für jeden Typ von KI-Inferenz:

Die KI-Inferenz bedingt eine Reihe technischer Herausforderungen, darunter die Verwaltung von Latenz, die Kontrolle von Kosten und die Sicherstellung der Skalierbarkeit. Google Cloud bietet einen flexiblen Pfad für die Inferenz, sodass Sie die richtigen Tools basierend auf der Komplexität Ihres Modells, den Leistungsanforderungen und der Betriebskapazität wählen können. Sie können mit vollständig verwalteten Lösungen beginnen und nach und nach eine stärker angepasste Infrastruktur einführen, wenn sich Ihre Anforderungen ändern.

Dieser Ansatz ist ideal für Entwickler aller Erfahrungsstufen, auch für KI-Neulinge, die schnell leistungsstarke KI-Funktionen einbinden möchten. Dazu sind nur einfache API-Aufrufe erforderlich; es müssen keine Modelle oder Infrastrukturen verwaltet werden.

Diese Option ist für Entwickler gedacht, die bereits ein benutzerdefiniertes Modell erstellt haben. Sie können dies im verwalteten Dienst von Google Cloud bereitstellen, sodass Sie sich nicht selbst um die komplexe Servereinrichtung oder Orchestrierung kümmern müssen. So können Sie sich auf Ihr Modell konzentrieren statt auf die Infrastruktur.

Entwickler und MLOps-Teams erhalten die volle Kontrolle und die nötige Flexibilität, um benutzerdefinierte containerisierte Inferenzdienste, oft mit spezialisierter Hardware, in Cloud- oder Hybridumgebungen bereitzustellen, zu verwalten und zu skalieren.

Wenn Sie mit SQL arbeiten, können Sie Vorhersagen von KI-Modellen jetzt direkt dort abrufen, wo sich Ihre Daten bereits befinden. So müssen Sie die Daten nicht auf eine separate Plattform verschieben, was Ihren Workflow vereinfacht.