Los sistemas de IA se ejecutan con datos de entrenamiento de alta calidad y contexto durante la inferencia. Kafka suele ser fundamental para el entrenamiento, ya que recopila datos de entrenamiento de diversos sistemas de origen, desde registros de interacciones hasta cambios en bases de datos. En muchas organizaciones, se usa como un bus de eventos que agrega eventos de muchos servicios o simplemente como una ubicación de almacenamiento provisional para los registros de aplicaciones. Esto lo convierte en una fuente de datos natural y única para generar conjuntos de datos de entrenamiento. Como Kafka almacena los registros en una secuencia ordenada, también puede ser especialmente adecuado para los LLMs que operan en secuencias. 

Kafka es esencial para muchas tareas de inferencia online. La capacidad de una aplicación o un agente para ofrecer una recomendación de producto, una respuesta de búsqueda o una petición relevantes depende de que se disponga del contexto más actualizado de un usuario. Como Kafka admite una comunicación escalable y de baja latencia, permite que un sistema de inferencia actualice el contexto del usuario con los últimos eventos en cuestión de decenas de milisegundos. Por ejemplo, si un usuario rechaza la última recomendación de canción en una aplicación de música o si el precio de una acción cambia en una aplicación financiera, un servicio de recomendaciones puede generar inmediatamente una sugerencia mejor teniendo en cuenta esta información. 

La configuración de clústeres de Kafka on-premise es notoriamente difícil, ya que los equipos tienen que aprovisionar máquinas, gestionar la seguridad y encargarse de los parches rutinarios.  Con un servicio gestionado, un proveedor se encarga de la infraestructura subyacente, lo que te permite centrarte en crear aplicaciones. Esto es especialmente útil para los equipos de ciencia de datos que quieren centrarse en el desarrollo de modelos y en la obtención de información valiosa en lugar de en la gestión de la infraestructura.