Apache Kafka es una reconocida plataforma de transmisión de eventos que se usa para recopilar, procesar y almacenar datos de eventos de transmisión o datos que no tienen un principio y un final distinguidos. Kafka posibilita una nueva generación de aplicaciones distribuidas con la capacidad de escalar para controlar miles de millones de eventos transmitidos por minuto.

Antes de que surgieran sistemas de transmisión de eventos como Apache Kafka y Google Cloud Pub/Sub, el procesamiento de datos se controlaba mediante trabajos por lotes periódicos, que consisten en almacenar los datos sin procesar y, luego, procesarlos a intervalos de tiempo arbitrarios. Por ejemplo, una empresa de telecomunicaciones puede esperar hasta el fin del día, de la semana o del mes para analizar los millones de registros de llamadas y calcular los cargos acumulados.

Una de las limitaciones del procesamiento por lotes es que no se realiza en tiempo real. Cada vez más organizaciones quieren analizar los datos en tiempo real para poder tomar decisiones empresariales oportunas y adoptar medidas cuando ocurren hechos interesantes. Por ejemplo, la misma empresa de telecomunicaciones que mencionamos antes podría beneficiarse si mantiene a sus clientes al tanto de sus cargos en tiempo real, como una forma de mejorar la experiencia general del cliente.

Para lograrlo, se puede aplicar la transmisión de eventos. La transmisión de eventos es un procedimiento que consiste en procesar de forma continua transmisiones infinitas de eventos a medida que se crean, con el fin de capturar el valor temporal de los datos y crear aplicaciones basadas en envíos cuando ocurre un hecho interesante. Hay varios ejemplos de casos transmisión de eventos, entre los que se incluyen el análisis continuo de los archivos de registro que generan las aplicaciones web orientadas a los clientes, la supervisión del comportamiento de los clientes y las reacciones ante este a medida que los usuarios navegan en los sitios web de comercio electrónico, el seguimiento continuo de las opiniones de los clientes mediante el análisis de los cambios en los datos de flujo de clics generados por las redes sociales o la recopilación de datos de telemetría generados por dispositivos de Internet de las cosas (IoT) y la posterior toma de medidas.

Obtén información sobre Apache Kafka para BigQuery, un servicio que automatiza las operaciones y la seguridad de Kafka, y facilita la transmisión de datos a BigQuery.

Obtén información sobre la propuesta de Confluent Cloud que incluye Apache Kafka integrado y completamente administrado en Google Cloud.

¿Todo listo para comenzar? Los clientes nuevos obtienen $300 en créditos gratuitos que pueden usar en Google Cloud.