Les systèmes d'IA s'appuient sur des données d'entraînement de haute qualité et sur le contexte lors de l'inférence. Kafka est souvent essentiel pour l'entraînement, car il permet de collecter des données d'entraînement à partir de divers systèmes sources, des journaux d'interaction aux modifications de bases de données. Dans de nombreuses organisations, il est utilisé comme bus d'événements pour agréger les événements provenant de nombreux services ou simplement comme emplacement de préparation pour les journaux d'application. Cela en fait une source de données unique et naturelle pour générer des ensembles de données d'entraînement.Comme Kafka stocke les enregistrements dans une séquence ordonnée, il peut également être particulièrement adapté aux LLM qui fonctionnent sur des séquences. 

Kafka est essentiel pour de nombreuses tâches d'inférence en ligne. La capacité d'une application ou d'un agent à fournir une recommandation de produit, une réponse de recherche ou une requête pertinente repose sur la disponibilité du contexte le plus récent pour un utilisateur. Kafka prend en charge une communication à faible latence et évolutive, ce qui permet à un système d'inférence de mettre à jour le contexte utilisateur avec les derniers événements en quelques dizaines de millisecondes. Par exemple, si un utilisateur refuse la dernière recommandation de chanson dans une application musicale ou si le prix d'une action change dans une application financière, un service de recommandation peut immédiatement générer une meilleure suggestion en tenant compte de cette entrée. 

La configuration de clusters Kafka sur site est notoirement difficile. Les équipes doivent provisionner des machines, gérer la sécurité et effectuer les opérations de correction courantes. Avec un service géré, un fournisseur s'occupe de l'infrastructure sous-jacente, ce qui vous permet de vous concentrer sur la création d'applications. C'est particulièrement utile pour les équipes de data science qui souhaitent se concentrer sur le développement de modèles et les insights plutôt que sur la gestion de l'infrastructure.