Solución de análisis de streaming

Ingiere, procesa y analiza los eventos de streaming en tiempo real en una infraestructura totalmente administrada

Pruébalo gratis Contactar con Ventas

Análisis de streaming integrado y abierto

El análisis de streaming se perfila como una alternativa más rápida y sencilla que el ETL por lotes. Contribuye a sacar el máximo partido de las interacciones de los usuarios, así como de los registros de aplicaciones y máquinas. Es fundamental ingerir, procesar y analizar estos flujos de datos de forma más rápida y eficiente para llevar a cabo la detección de fraudes, el análisis de flujo de clics y las recomendaciones online, entre muchas otras cuestiones. Para este tipo de casos prácticos, Google Cloud ofrece una solución integrada y abierta de análisis de streaming fácil de adoptar, escalar y administrar.

Responde a los eventos a medida que surjan

Ingiere millones de eventos de streaming por segundo desde cualquier lugar del mundo con Cloud Pub/Sub, gracias a la exclusiva red privada y de alta velocidad de Google. Procesa las transmisiones con Cloud Dataflow para que los datos se transformen de forma fiable, con baja latencia y una sola vez. Transmite los datos transformados a BigQuery, el servicio de almacenamiento de datos nativo de la nube, para realizar un análisis inmediato mediante SQL o herramientas de visualización populares. Por último, aplica el análisis predictivo para detectar fraudes, realizar personalizaciones en tiempo real y otras operaciones del mismo tipo. Para ello, incorpora APIs y modelos de aprendizaje automático en la nube basados en TensorFlow a los flujos de procesamiento de datos de streaming.

Acelera el desarrollo sin renuncias

Los análisis de streaming de Google Cloud Platform simplifican los flujos de procesamiento ETL sin sacrificar la resistencia, precisión y funcionalidad. Cloud Dataflow propicia un rápido desarrollo de los flujos de procesamiento a través de las API expresivas de Java y Python en el SDK de Apache Beam, lo que se traduce en un completo conjunto de primitivas de análisis de sesiones y ventanas, así como un ecosistema de conectores de fuentes y sumideros. Además, el modelo de desarrollo único y unificado de Beam permite reutilizar más código en los flujos de procesamiento de streaming y por lotes.

Simplifica las operaciones y la gestión

Una vez que se despliegan los flujos de procesamiento de datos de streaming, el modelo sin servidor de GCP elimina la sobrecarga operativa y gestiona automáticamente el rendimiento, el escalado, la disponibilidad, la seguridad y el cumplimiento. La integración con Stackdriver, la solución de registro y supervisión unificada de GCP, permite supervisar y solucionar los problemas de los flujos de procesamiento mientras están activos. Gracias a la visualización exhaustiva, al almacenamiento de registros y a las alertas avanzadas, podrás identificar y solucionar los problemas que surjan.

Sigue utilizando tus herramientas y sistemas favoritos

Los análisis de streaming en GCP son, de forma predeterminada, abiertos e interoperables. Las API abiertas y el gran número de clientes de Cloud Pub/Sub permiten realizar despliegues híbridos y en varias nubes. Google recomienda a los usuarios de Apache Kafka usar Confluent para ejecutar Kafka gestionado. Además, los conectores de Cloud Dataflow te permiten integrarlo con GCP por tu cuenta fácilmente. BigQuery funciona a la perfección con tus herramientas de ETL y BI preferidas a través de SQL estándar. Los flujos de procesamiento de datos creados con la versión 2.x del SDK de Cloud Dataflow, basado en Beam, se pueden transferir a Cloud Dataflow, Apache Spark y Apache Flink. Por último, se ofrece compatibilidad con Spark mediante Cloud Dataproc para las cargas de trabajo en streaming y por lotes.

COMPONENTES DE LA SOLUCIÓN

Servicio Caso práctico de análisis de streaming
Cloud Pub/Sub Para ingerir a gran escala los datos de streaming originados en cualquier lugar del mundo (alternativa de software libre de esta solución: Apache Kafka).
Cloud Dataflow Para transformar y enriquecer los datos ingeridos en los modos en streaming y por lotes con el mismo grado de fiabilidad y expresividad (alternativa de software libre de esta solución: Spark en Cloud Dataproc).
BigQuery Servicio de almacenamiento de datos completamente administrado que admite 100.000 inserciones de filas de transmisión por segundo, lo que permite realizar análisis ad hoc de datos en tiempo real con SQL estándar.
Apache Beam Framework de desarrollo unificado para programar flujos de procesamiento en streaming y por lotes. Comercializado por Google como la versión 2.x. del SDK de Cloud Dataflow.
Aprendizaje automático de Cloud Añade otra capa de inteligencia a tu flujo de procesamiento mediante el streaming de eventos a través de modelos de aprendizaje automático basados en TensorFlow, tanto personalizados (Cloud Machine Learning Engine) como prediseñados (APIs de Cloud).
Cloud Bigtable Almacén de pares clave-valor de columna ancha y baja latencia, ideal para series temporales de gran volumen y aplicaciones de lectura sensibles a la latencia.

Otros recursos

Procesamiento "una sola vez"

Descubre lo que significa "una sola vez" en Cloud Dataflow.

Lee la entrada del blog

Cloud Dataflow: flujos de procesamiento de muestra

Comprende el funcionamiento de los flujos de procesamiento a través de ejemplos de juegos para móviles.

Consulta la documentación

Laboratorio de programación: NYC Taxi Tycoon

Sigue paso a paso esta guía práctica de codificación sobre el procesamiento de los datos de streaming con Dataflow y Pub/Sub.

Explora la aplicación de muestra

Solución para servicios financieros

Crea un sistema de análisis casi en tiempo real que pueda escalar a miles de flujos de datos simultáneos.

Lee la publicación sobre la solución

Diagrama de la arquitectura

Revisa la arquitectura diseñada para optimizar la ingestión de análisis a gran escala de Google Cloud Platform.

Lee el artículo

Cuestiones básicas sobre el streaming

Lee la influyente publicación de Tyler Akidau sobre el mundo más allá del procesamiento por lotes.

Lee el informe