'Kafka'의 핵심은 지연 시간이 짧은 스토리지 시스템을 의미하지만 스트리밍 플랫폼에는 다른 중요한 구성요소도 포함됩니다. 첫 번째는 Kafka Connect로, 수평 확장 가능한 커넥터를 여러 중요한 시스템에 연결할 수 있는 통합 시스템입니다. 여기에는 변경 데이터 캡처(CDC) 커넥터, 클러스터 간 복제 (MirrorMaker), 레이크하우스(Apache Iceberg), 레이크(객체 스토리지의 Avro 또는 Parquet 파일)와 같은 다운스트림 시스템은 물론 BigQuery와 같은 데이터베이스에 데이터를 쓸 수 있는 기능이 포함됩니다. 둘째, Kafka 프로젝트는 클러스터와 주제를 조작하기 위한 관리 명령줄 클라이언트와 데이터를 읽고 쓰기 위한 고성능 클라이언트 라이브러리를 포함한 강력한 클라이언트 세트를 함께 제공합니다.   

과거에는 데이터 처리가 주기적인 일괄 작업으로 처리되었으며, 원시 데이터를 먼저 저장한 다음 임의의 간격으로 처리했습니다. 예를 들어 소매업체는 판매 데이터를 분석하기 위해 하루가 지날 때까지 기다려야 했습니다. 일괄 처리의 한계 중 하나는 실시간이 아니라는 점입니다. 조직과 데이터 과학자는 적시에 비즈니스 결정을 내리고 실시간 AI 모델을 구동하기 위해 데이터가 생성되는 즉시 실시간으로 분석하기를 점점 더 원합니다. 바로 이 지점에서 이벤트 스트리밍이 필요합니다. 이벤트 스트리밍은 이벤트가 생성되는 즉시 무한한 이벤트 스트림을 지속적으로 처리하는 프로세스입니다. 이를 통해 데이터의 시간적 가치를 포착하고 흥미로운 일이 발생할 때마다 조치를 취하는 푸시 기반 애플리케이션을 만들 수 있습니다. 데이터 과학자에게 이는 실시간 특성 추출을 수행하고 지연 시간이 짧은 예측을 제공할 수 있는 기능을 의미합니다.