Los sistemas de IA se ejecutan con datos de entrenamiento y contexto de alta calidad durante la inferencia. Kafka suele ser fundamental para el entrenamiento, ya que recopila datos de entrenamiento de una variedad de sistemas de origen, desde registros de interacción hasta cambios en la base de datos. En muchas organizaciones, se usa como un bus de eventos que agrega eventos de muchos servicios o simplemente como una ubicación de almacenamiento de etapa de pruebas para los registros de aplicaciones. Esto la convierte en una fuente de datos natural y única para generar conjuntos de datos de entrenamiento. Como Kafka almacena registros en una secuencia ordenada, también puede ser una buena opción para los LLM que operan en secuencias. 

Kafka es esencial para muchas tareas de inferencia en línea. La capacidad de una aplicación o un agente para proporcionar una recomendación de producto, una respuesta de búsqueda o una instrucción pertinente depende de tener el contexto más actualizado para un usuario. Debido a que Kafka admite una comunicación escalable y de baja latencia, permite que un sistema de inferencia actualice el contexto del usuario con los eventos más recientes en decenas de milisegundos. Por ejemplo, si un usuario rechaza la recomendación de canción más reciente en una app de música o si el precio de una acción cambia en una aplicación financiera, un servicio de recomendación puede generar de inmediato una mejor sugerencia teniendo en cuenta esta entrada. 

La configuración de clústeres locales de Kafka es notoriamente difícil, ya que requiere que los equipos aprovisionen máquinas, administren la seguridad y se encarguen de la aplicación de parches de rutina.  Con un servicio administrado, un proveedor se encarga de la infraestructura subyacente, lo que te permite enfocarte en la creación de aplicaciones. Esto es particularmente beneficioso para los equipos de ciencia de datos que quieren enfocarse en el desarrollo de modelos y las estadísticas en lugar de la administración de la infraestructura.