「Kafka」の中核は低レイテンシのストレージ システムを指すことが多いですが、ストリーミング プラットフォームには他の重要なコンポーネントも含まれています。1 つ目は Kafka Connect です。これは、多くの重要なシステムに水平方向にスケーラブルなコネクタを接続できる統合システムです。これには、変更データ キャプチャ（CDC）コネクタ、クラスタ間レプリケーション（MirrorMaker）、レイクハウス（Apache Iceberg）、レイク（オブジェクト ストレージ上の Avro または Parquet ファイル）、BigQuery などのデータベースなどのダウンストリーム システムにデータを書き込む機能が含まれます。2 つ目は、Kafka プロジェクトには、クラスタとトピックを操作するための管理コマンドライン クライアントや、データの読み取りと書き込みのための高性能クライアント ライブラリなど、強力なクライアントが付属していることです。   

従来、データ処理は定期的なバッチジョブによって行われていました。元データはまず保存されてから、任意の時間間隔で処理されていました。たとえば、小売企業は、1 日の終わりまで待ってから販売データを分析する場合があります。バッチ処理の制限の一つに、リアルタイムでないという点があります。組織やデータ サイエンティストは、ビジネス上の意思決定をタイムリーに行い、リアルタイム AI モデルを強化するために、データが生成されると同時にリアルタイムで分析したいと考えています。そこで登場するのがイベント ストリーミングです。イベント ストリーミングは、イベントの作成時に無限のイベント ストリームを継続的に処理するプロセスを指します。これにより、データの時間的価値を捕捉し、利害に関することが起こった場合に常に対応する push ベースのアプリを作成できます。データ サイエンティストにとっては、リアルタイムの特徴量エンジニアリングを実行し、低レイテンシの予測を提供できることを意味します。