Apache Kafka は人気のイベント ストリーミング プラットフォームであり、ストリーミング イベント データ、つまりはっきりとした始まりや終わりのないデータを収集、処理、保存するために使用されます。Kafka を活用すれば、1 分間で数十億ものストリーミング イベントを処理するようスケールできる新世代の分散アプリケーションが実現します。

Apache Kafka や Google Cloud Pub/Sub などのイベント ストリーミング システムが登場するまでは、定期的なバッチジョブによるデータ処理が主流であり、元データはまず保存されてから任意の時間間隔で処理されていました。たとえば、通信会社であれば 1 日、1 週間、1 か月の終わりまで待ってから、数百万もの通話記録を分析し、累積された請求額を計算します。

バッチ処理の制限の一つに、リアルタイムでないという点があります。利害に関わることが発生した際に、タイミングよくビジネス上の意思決定を行って行動に移すために、リアルタイムでデータを分析するという組織の要望はますます高まっています。たとえば、先ほどの通信企業は、全体的なカスタマー エクスペリエンスを向上させる一つの方法として、顧客にリアルタイムの請求額を知らせることでメリットを得られるかもしれません。

そこで、イベント ストリーミングの出番です。イベント ストリーミングは、利害に関わることが起こった場合に常にデータの時間的価値を捕捉し、対応する push ベースのアプリを作成するために、イベントの作成時に無限のイベント ストリームを継続的に処理するプロセスを指します。イベント ストリーミングの例には、顧客向けウェブ アプリケーションによって生成されるログファイルの継続的な分析、e コマース ウェブサイトを閲覧するユーザーの顧客行動のモニタリングと対応、ソーシャル ネットワークによって生成されるクリックストリーム データの変化を分析することによる顧客感情の継続的な把握、モノのインターネット（IoT）デバイスによって生成されるテレメトリ データの収集と対応などがあります。

Kafka のオペレーションとセキュリティを自動化し、BigQuery へのデータ ストリーミングを容易にするサービス、Apache Kafka for BigQuery について説明します。

Confluent Cloud のフルマネージドで統合された Google Cloud 上の Apache Kafka サービスについて詳しくご覧ください。

準備ができたら新規のお客様には、Google Cloud で使用できる無料クレジット $300 分を差し上げます。