Os sistemas de IA são executados com dados de treinamento e contexto de alta qualidade durante a inferência. O Kafka costuma ser essencial para o treinamento, porque coleta dados de treinamento de vários sistemas de origem, desde registros de interação até mudanças no banco de dados. Em muitas organizações, ele é usado como um barramento de eventos que agrega eventos de vários serviços ou simplesmente como um local de preparação para registros de aplicativos. Isso a torna uma fonte de dados natural e única para gerar conjuntos de dados de treinamento. Como o Kafka armazena registros em uma sequência ordenada, ele também pode ser uma opção particularmente boa para LLMs que operam em sequências. 

O Kafka é essencial para muitas tarefas de inferência on-line. A capacidade de um aplicativo ou agente de fornecer uma recomendação de produto, resposta de pesquisa ou comando relevante depende de ter o contexto mais atualizado para um usuário. Como o Kafka oferece suporte a comunicação escalonável e de baixa latência, ele permite que um sistema de inferência atualize o contexto do usuário com os eventos mais recentes em dezenas de milissegundos. Por exemplo, se um usuário rejeitar a recomendação de música mais recente em um app de música ou se o preço de uma ação mudar em um aplicativo financeiro, um serviço de recomendação poderá gerar imediatamente uma sugestão melhor levando essa entrada em consideração. 

A configuração de clusters locais do Kafka é notoriamente difícil, exigindo que as equipes provisionem máquinas, gerenciem a segurança e lidem com patches de rotina.  Com um serviço gerenciado, um provedor lida com a infraestrutura subjacente, permitindo que você se concentre na criação de aplicativos. Isso é especialmente benéfico para equipes de ciência de dados que querem se concentrar no desenvolvimento de modelos e insights em vez de no gerenciamento de infraestrutura.