Solución de análisis de transmisiones

Transfiere, procesa y analiza las transmisiones de eventos en tiempo real en una infraestructura totalmente administrada

Pruébalo gratis Comunícate con ventas

Análisis de transmisiones integrado y abierto

El análisis de las transmisiones surgió como una alternativa más simple y rápida de los procesos de ETL por lotes, con el fin de obtener el máximo valor de los eventos de interacción del usuario y los registros de las aplicaciones y las máquinas. La transferencia, el procesamiento y el análisis de estas transmisiones de datos de forma eficaz y con rapidez son fundamentales para la detección de fraudes, el análisis de los flujos de clics y las recomendaciones en línea, entre otros ejemplos. Para tales casos prácticos, Google Cloud ofrece una solución integrada y abierta de análisis de transmisiones que es fácil de adoptar, escalar y administrar.

Responde a los eventos a medida que ocurren

Transfiere millones de eventos de transmisión por segundo desde cualquier lugar del mundo con Cloud Pub/Sub, que cuenta con la tecnología de la exclusiva red privada de alta velocidad de Google. Procesa las transmisiones con Cloud Dataflow para garantizar una transformación de datos de baja latencia, confiable y del tipo "exactamente una vez". Transmite los datos transformados a BigQuery, el servicio de almacenamiento de datos nativo de la nube, para un análisis inmediato mediante SQL o herramientas de visualización conocidas. Por último, usa el análisis predictivo para la detección de fraudes, la personalización en tiempo real y los casos prácticos similares incorporando en tus canalizaciones de transmisión de datos la integración de las API y los modelos de Aprendizaje automático en la nube basados en TensorFlow.

Acelera el desarrollo, sin riesgos

El análisis de las transmisiones en GCP simplifica las canalizaciones de ETL sin poner en riesgo la solidez, la precisión ni las funcionalidades. Cloud Dataflow permite un desarrollo rápido de las canalizaciones a través de API expresivas de Java y Python en el SDK de Apache Beam, que ofrece un amplio conjunto de primitivas de análisis de sesiones y ventanas, así como un ecosistema de conectores fuente y receptores. Además, el modelo de desarrollo original y unificado de Beam te permite reutilizar el código en canalizaciones de transmisión y por lote.

Simplifica las operaciones y la administración

Una vez que se implementan las canalizaciones de procesamiento de datos de transmisión, el enfoque sin servidor de GCP elimina la sobrecarga operativa y el rendimiento, la escalabilidad, la disponibilidad, la seguridad y el cumplimiento se administran automáticamente. La integración con Stackdriver, la solución de supervisión y registro unificado de GCP, te permite supervisar y solucionar problemas en tus canalizaciones mientras están activas. La visualización, el registro y las alertas avanzadas ayudan a identificar posibles problemas y a solucionarlos.

Conserva tus herramientas y sistemas favoritos

El análisis de transmisiones en GCP está diseñado para ser interoperable y abierto. La API abierta de Cloud Pub/Sub y los diversos clientes permiten implementaciones híbridas y en varias nubes. Para los usuarios de Apache Kafka, un conector de Cloud Dataflow facilita la integración en GCP. Además BigQuery funciona a la perfección a través de SQL estándar con las herramientas de ETL y BI que ya conoces y te encantan. Las canalizaciones de procesamiento de datos escritas con el SDK de Cloud Dataflow 2.x basado en Beam son portátiles en Cloud Dataflow, Apache Spark y Apache Flink. Finalmente, la compatibilidad con Spark está disponible a través de Cloud Dataproc para las cargas de trabajo de transmisión y por lotes.

COMPONENTES DE LA SOLUCIÓN

Servicio Caso práctico para el análisis de transmisiones
Cloud Pub/Sub Para la transferencia de datos de transmisión a gran escala que se originan en cualquier lugar del mundo. (Alternativa de código abierto en esta solución: Apache Kafka)
Cloud Dataflow Para transformar y enriquecer los datos transferidos en los modos de transmisión y por lotes con la misma fiabilidad y expresividad. (Alternativa de código abierto en esta solución: Spark en Cloud Dataproc)
BigQuery Servicio de almacenamiento de datos completamente administrado que admite 100,000 inserciones de fila de transmisión por segundo y permite el análisis ad hoc de datos en tiempo real con SQL estándar.
Apache Beam Marco de desarrollo unificado para programar canalizaciones de transmisión y por lotes. Google lo denomina SDK de Cloud Dataflow 2.x.
Cloud Machine Learning Agrega una capa adicional de inteligencia a tu canalización mediante la ejecución de las transmisiones de eventos a través de modelos de aprendizaje automático basados en TensorFlow personalizados (Cloud Machine Learning Engine) o precompilados (API de Cloud).
Cloud Bigtable Almacén de clave-valor y columnas amplias de baja latencia, ideal para series temporales de gran volumen y aplicaciones de lectura sensible a la latencia.

Recursos adicionales

Procesamiento de tipo "exactamente una vez"

Conoce el significado del procesamiento de tipo "exactamente una vez" en Cloud Dataflow.

Ve a la entrada de blog

Cloud Dataflow: Canalizaciones de muestra

Comprende cómo funcionan las canalizaciones a través de ejemplos de juegos móviles.

Ver documentación

Codelab: NYC Taxi Tycoon

Observa una experiencia de codificación práctica y guiada sobre cómo procesar los datos de transmisión con Dataflow y Pub/Sub.

Explora la app de muestra

Solución de servicios financieros

Crea un sistema analítico casi en tiempo real que se pueda escalar a miles de transmisiones simultáneas de datos.

Lee el documento de la solución

Diagrama de arquitectura

Revisa la arquitectura para optimizar la transferencia de análisis a gran escala en Google Cloud Platform.

Lee el artículo

Transmisión 101

Lee el documento informativo de Tyler Akidau sobre el mundo más allá de los lotes.

Lee el documento