KI-Systeme benötigen hochwertige Trainingsdaten und Kontext während der Inferenz. Kafka ist oft entscheidend für das Training, da es Trainingsdaten aus einer Vielzahl von Quellsystemen erfassen kann, von Interaktionsprotokollen bis hin zu Datenbankänderungen. In vielen Unternehmen wird es als Event-Bus verwendet, der Ereignisse aus vielen Diensten zusammenführt, oder einfach als Staging-Speicherort für Anwendungsprotokolle. Das macht es zu einer geeigneten, einzigen Datenquelle für die Generierung von Trainingsdatensätzen. Da Kafka Datensätze in einer geordneten Sequenz speichert, eignet es sich auch besonders gut für LLMs, die mit Sequenzen arbeiten. 

Kafka ist für viele Online-Inferenzaufgaben unerlässlich. Die Fähigkeit einer Anwendung oder eines KI-Agenten, relevante Produktempfehlungen, Suchantworten oder Prompts zu liefern, basiert darauf, dass der aktuellste Kontext für den relevanten Nutzer vorliegt. Da Kafka eine latenzarme, skalierbare Kommunikation unterstützt, kann ein Inferenzsystem den Nutzerkontext mit den neuesten Ereignissen innerhalb von wenigen Millisekunden aktualisieren. Wenn ein Nutzer beispielsweise die neueste Songempfehlung in einer Musik-App ablehnt oder sich der Aktienkurs in einer Finanzanwendung ändert, kann ein Empfehlungsdienst sofort einen besseren Vorschlag generieren, der diese Eingabe berücksichtigt. 

Das Einrichten lokaler Kafka-Cluster ist bekanntermaßen schwierig. Teams müssen Maschinen bereitstellen, die Sicherheit verwalten und Routine-Patching durchführen. Bei einem verwalteten Dienst kümmert sich ein Anbieter um die zugrunde liegende Infrastruktur, sodass Sie sich auf die Entwicklung von Anwendungen konzentrieren können. Dies ist besonders für Data-Science-Teams von Vorteil, die sich auf die Modellentwicklung und Erkenntnisse und nicht auf die Infrastrukturverwaltung konzentrieren möchten.