I sistemi di AI funzionano con dati di addestramento e contesto di alta qualità durante l'inferenza. Kafka è spesso fondamentale per l'addestramento per raccogliere dati di addestramento da una varietà di sistemi di origine, dai log di interazione alle modifiche del database. In molte organizzazioni viene utilizzato come bus di eventi che aggrega eventi da molti servizi o semplicemente come posizione di gestione temporanea per i log delle applicazioni. Questo lo rende un'unica origine naturale di dati per la generazione di set di dati di addestramento. Poiché Kafka archivia i record in una sequenza ordinata, può essere particolarmente adatto anche per gli LLM che operano su sequenze. 

Kafka è essenziale per molte attività di inferenza online. La capacità di un'applicazione o di un agente di fornire un suggerimento di prodotto, una risposta di ricerca o un prompt pertinenti dipende dall'avere il contesto più aggiornato per un utente. Poiché Kafka supporta la comunicazione scalabile a bassa latenza, consente a un sistema di inferenza di aggiornare il contesto dell'utente con gli eventi più recenti in decine di millisecondi. Ad esempio, se un utente rifiuta l'ultimo brano consigliato in un'app musicale o se il prezzo di un titolo azionario cambia in un'applicazione finanziaria, un servizio di suggerimenti può generare immediatamente un suggerimento migliore tenendo conto di questo input. 

La configurazione dei cluster Kafka on-premise è notoriamente difficile e richiede ai team di eseguire il provisioning delle macchine, gestire la sicurezza e occuparsi delle patch di routine.  Con un servizio gestito, un provider si occupa dell'infrastruttura sottostante, consentendoti di concentrarti sulla creazione di applicazioni. Ciò è particolarmente vantaggioso per i team di data science che vogliono concentrarsi sullo sviluppo di modelli e sugli insight piuttosto che sulla gestione dell'infrastruttura.