Apache Kafka는 별도의 시작이나 끝이 없는 스트리밍 이벤트 데이터 또는 일반 데이터를 수집, 처리, 저장하는 데 널리 사용되는 이벤트 스트리밍 플랫폼입니다. Kafka는 차세대 분산 애플리케이션이 확장을 통해 스트리밍 이벤트를 분당 수십억 개까지 처리할 수 있도록 합니다.

Apache Kafka와 Google Cloud Pub/Sub 같은 이벤트 스트리밍 시스템이 등장하기 전의 데이터 처리는 일반적으로 원시 데이터를 먼저 저장했다가 나중에 임의의 시간 간격으로 처리하는 주기적인 일괄 작업으로 다뤄져 왔습니다. 예를 들어 통신 회사에서는 하루, 한 주 또는 한 달이 지날 때까지 기다렸다가 수백만 건의 통화 기록을 분석하고 누적 요금을 계산할 수 있습니다.

일괄 처리의 한계 중 하나는 실시간이 아니라는 점입니다. 적시에 비즈니스 결정을 내리고 흥미로운 일이 발생할 경우 조치를 취하기 위해 데이터를 실시간으로 분석하고자 하는 조직은 점점 많아지고 있습니다. 예를 들어 앞서 언급한 통신 회사에서는 전반적인 고객 경험을 향상시킬 한 가지 방법으로 고객에게 실시간 요금을 알려주는 것이 도움이 될 수 있습니다.

여기서 이벤트 스트리밍의 필요성이 발생합니다. 이벤트 스트리밍은 데이터의 시간적 가치를 포착하는 것은 물론 흥미로운 일이 발생할 때마다 조치를 취하는 푸시 기반 애플리케이션을 만들기 위해 이벤트가 생성되는 대로 이벤트의 무한 스트림을 지속적으로 처리하는 프로세스입니다. 이벤트 스트리밍의 예로는 고객 대면 웹 애플리케이션에서 생성되는 로그 파일을 지속적으로 분석하는 것, 사용자가 전자상거래 웹사이트를 탐색할 때 고객 행동을 모니터링하고 그에 대응하는 것, 소셜 네트워크에서 생성되는 클릭 스트림 데이터의 변화를 분석하여 고객 감정에 지속적으로 영향을 미치는 것, 사물 인터넷(IoT) 기기에서 생성되는 원격 분석 데이터를 수집하고 그에 대응하는 것 등이 포함됩니다.

Kafka 작업 및 보안을 자동화하고 데이터를 BigQuery로 쉽게 스트리밍할 수 있는 서비스인 BigQuery용 Apache Kafka에 대해 알아보세요.

Confluent Cloud가 Google Cloud에서 제공하는 통합된 완전 관리형 Apache Kafka에 대해 알아보세요.

시작할 준비가 되셨나요? 신규 고객에게는 Google Cloud에서 사용할 수 있는 $300의 무료 크레딧이 제공됩니다.