Dataflow
Inteligencia de datos en tiempo real
Maximiza el potencial de tus datos en tiempo real. Dataflow es una plataforma de transmisión completamente administrada, fácil de usar y escalable que ayuda a acelerar la toma de decisiones en tiempo real y las experiencias de los clientes.
Los clientes nuevos obtienen $300 en créditos gratuitos que pueden usar en Dataflow.
Funciones
Usa IA y AA de transmisión para potenciar los modelos de IA generativa en tiempo real
Los datos en tiempo real potencian los modelos de IA y AA con la información más reciente, lo que mejora la exactitud de las predicciones. Dataflow ML simplifica la implementación y la administración de canalizaciones de AA completas. Ofrecemos patrones listos para usar con recomendaciones personalizadas, detección de fraudes, prevención de amenazas y mucho más. Compila IA de transmisión con Vertex AI, modelos de Gemini y modelos de Gemma, ejecuta inferencia remota y optimiza el procesamiento de datos con MLTransform. Mejora la eficiencia de los trabajos de MLOps y AA con la GPU de Dataflow y las capacidades de ajuste adecuado.
Habilita casos de uso avanzados de transmisión a escala empresarial
Dataflow es un servicio completamente administrado que usa el SDK de Apache Beam de código abierto para habilitar casos de uso avanzados de transmisión a escala empresarial. Ofrece numerosas capacidades para estado y hora, transformaciones y conectores de E/S. Dataflow escala a 4,000 trabajadores por trabajo y procesa petabytes de datos de manera rutinaria. Presenta el ajuste de escala automático para un uso óptimo de los recursos en las canalizaciones por lotes y de transmisión.
Implementa el procesamiento de datos multimodal para la IA generativa
Dataflow permite la transferencia y transformación paralelas de datos multimodales, como imágenes, texto y audio. Aplica la extracción de atributos especializados para cada modalidad y, luego, los fusiona en una representación unificada. Estos feed de datos fusionados se incorporan a los modelos de IA generativa, lo que les permite crear contenido nuevo a partir de diversas entradas. Los equipos internos de Google aprovechan Dataflow y FlumeJava para organizar y calcular predicciones de modelos para un gran grupo de datos de entrada disponibles sin requisitos de latencia.
Acelera el tiempo de generación de valor con plantillas y notebooks
Dataflow tiene herramientas que facilitan los primeros pasos. Las plantillas de Dataflow son planos prediseñados para el procesamiento de transmisión y por lotes, y están optimizadas para una integración eficiente de datos de CDC y BigQuery. Crea canalizaciones de forma iterativa con los frameworks de ciencia de datos más recientes desde cero con notebooks de Vertex AI y realiza implementaciones con el ejecutor de Dataflow.El compilador de trabajos de Dataflow es una IU visual para compilar y ejecutar canalizaciones de Dataflow en la consola de Google Cloud, sin escribir ningún código.
Ahorra tiempo con herramientas de supervisión y diagnóstico inteligentes
Dataflow ofrece herramientas de diagnóstico y supervisión integrales. La detección de retrasos identifica automáticamente los cuellos de botella de rendimiento, mientras que el muestreo de datos permite observar los datos en cada paso de la canalización. Dataflow Insights ofrece recomendaciones para mejorar los trabajos. La IU de Dataflow proporciona herramientas de supervisión enriquecidas, incluidos gráficos de trabajos, detalles de ejecución, métricas, paneles de ajuste de escala automático y registros. Dataflow también cuenta con una IU de supervisión de costos de trabajos para estimar el costo de forma sencilla.
Administración y seguridad integradas
Dataflow te ayuda a proteger tus datos de varias maneras: mediante la encriptación de los datos en uso con la asistencia de Confidential VM; claves de encriptación administradas por el cliente (CMEK); integración de los Controles del servicio de VPC desactivando las IP públicas. El registro de auditoría de Dataflow le brinda a tu organización la visibilidad del uso de Dataflow y ayuda a responder la pregunta “¿Quién hizo qué, dónde y cuándo?”. para una mejor administración.
Cómo funciona
Dataflow es una plataforma completamente administrada para el procesamiento de datos por lotes y de transmisión. Habilita canalizaciones de ETL escalables, análisis de transmisiones en tiempo real, AA en tiempo real y transformaciones de datos complejas con el modelo unificado de Apache Beam, todo en una infraestructura sin servidores de Google Cloud.
Dataflow es una plataforma completamente administrada para el procesamiento de datos por lotes y de transmisión. Habilita canalizaciones de ETL escalables, análisis de transmisiones en tiempo real, AA en tiempo real y transformaciones de datos complejas con el modelo unificado de Apache Beam, todo en una infraestructura sin servidores de Google Cloud.
Usos comunes
Analítica en tiempo real
Incorpora los datos de transmisión para obtener estadísticas en tiempo real y canalizaciones operativas
Incorpora los datos de transmisión para obtener estadísticas en tiempo real y canalizaciones operativas
Para comenzar tu recorrido de transmisión de datos, integra tus fuentes de datos de transmisión (Pub/Sub, Kafka, eventos de CDC, flujo de clics de usuarios, registros y datos de sensores) en BigQuery, data lakes de Google Cloud Storage, Spanner, Bigtable, almacenes de SQL, Splunk, Datadog y mucho más. Explora plantillas de Dataflow optimizadas para configurar tus canalizaciones con unos pocos clics y sin código. Agrega lógica personalizada a tus trabajos de plantilla con un compilador de UDF integrado o crea canalizaciones de ETL personalizadas desde cero con toda la potencia de las transformaciones de Beam y el ecosistema de conectores de E/S. Dataflow también se usa frecuentemente para revertir los datos procesados ETL de BigQuery a almacenes OLTP para búsquedas rápidas y entregar a los usuarios finales. Es un patrón común para que Dataflow escriba datos de transmisión en varias ubicaciones de almacenamiento.
Inicia tu primer trabajo de Dataflow y realiza nuestro curso autoguiado sobre las bases de Dataflow.
Instructivos, guías de inicio rápido y labs
Incorpora los datos de transmisión para obtener estadísticas en tiempo real y canalizaciones operativas
Incorpora los datos de transmisión para obtener estadísticas en tiempo real y canalizaciones operativas
Para comenzar tu recorrido de transmisión de datos, integra tus fuentes de datos de transmisión (Pub/Sub, Kafka, eventos de CDC, flujo de clics de usuarios, registros y datos de sensores) en BigQuery, data lakes de Google Cloud Storage, Spanner, Bigtable, almacenes de SQL, Splunk, Datadog y mucho más. Explora plantillas de Dataflow optimizadas para configurar tus canalizaciones con unos pocos clics y sin código. Agrega lógica personalizada a tus trabajos de plantilla con un compilador de UDF integrado o crea canalizaciones de ETL personalizadas desde cero con toda la potencia de las transformaciones de Beam y el ecosistema de conectores de E/S. Dataflow también se usa frecuentemente para revertir los datos procesados ETL de BigQuery a almacenes OLTP para búsquedas rápidas y entregar a los usuarios finales. Es un patrón común para que Dataflow escriba datos de transmisión en varias ubicaciones de almacenamiento.
Inicia tu primer trabajo de Dataflow y realiza nuestro curso autoguiado sobre las bases de Dataflow.
Integración de datos y ETL en tiempo real
Moderniza tu plataforma de datos con datos en tiempo real
Moderniza tu plataforma de datos con datos en tiempo real
ETL en tiempo real y proceso de integración, y escritura de datos de inmediato, lo que permite un análisis y una toma de decisiones rápidos. La arquitectura sin servidores y las capacidades de transmisión de Dataflow lo hacen ideal para compilar canalizaciones de ETL en tiempo real. La capacidad de ajuste de escala automático de Dataflow garantiza la eficiencia y el escalamiento, mientras que su compatibilidad con varias fuentes de datos y destinos simplifica la integración.
Crea tus aspectos básicos con el procesamiento por lotes en Dataflow con este curso de Google Cloud Skills Boost.
Instructivos, guías de inicio rápido y labs
Moderniza tu plataforma de datos con datos en tiempo real
Moderniza tu plataforma de datos con datos en tiempo real
ETL en tiempo real y proceso de integración, y escritura de datos de inmediato, lo que permite un análisis y una toma de decisiones rápidos. La arquitectura sin servidores y las capacidades de transmisión de Dataflow lo hacen ideal para compilar canalizaciones de ETL en tiempo real. La capacidad de ajuste de escala automático de Dataflow garantiza la eficiencia y el escalamiento, mientras que su compatibilidad con varias fuentes de datos y destinos simplifica la integración.
Crea tus aspectos básicos con el procesamiento por lotes en Dataflow con este curso de Google Cloud Skills Boost.
IA generativa y AA en tiempo real
Toma medidas en tiempo real con la transmisión de AA/IA
Toma medidas en tiempo real con la transmisión de AA/IA
Divide en segundas decisiones genera valor empresarial. Dataflow Streaming AI y AA permiten que los clientes implementen inferencias y predicciones de baja latencia, personalización en tiempo real, detección de amenazas, prevención de fraudes y muchos más casos de uso en los que la inteligencia en tiempo real es importante. Preprocesa datos con MLTransform, que te permite enfocarte en transformar tus datos y dejar de escribir código complejo o administrar bibliotecas subyacentes. Haz predicciones a tu modelo de IA generativa con RunInference.
Instructivos, guías de inicio rápido y labs
Toma medidas en tiempo real con la transmisión de AA/IA
Toma medidas en tiempo real con la transmisión de AA/IA
Divide en segundas decisiones genera valor empresarial. Dataflow Streaming AI y AA permiten que los clientes implementen inferencias y predicciones de baja latencia, personalización en tiempo real, detección de amenazas, prevención de fraudes y muchos más casos de uso en los que la inteligencia en tiempo real es importante. Preprocesa datos con MLTransform, que te permite enfocarte en transformar tus datos y dejar de escribir código complejo o administrar bibliotecas subyacentes. Haz predicciones a tu modelo de IA generativa con RunInference.
Marketing Intelligence
Transforma tu estrategia de marketing con estadísticas en tiempo real
Transforma tu estrategia de marketing con estadísticas en tiempo real
La inteligencia de marketing en tiempo real analiza los datos actuales del mercado, los clientes y los competidores para tomar decisiones rápidas e informadas. Permite respuestas ágiles a tendencias, comportamientos y acciones competitivas, lo que transforma el marketing. Estos son algunos de los beneficios:
- Marketing en varios canales en tiempo real con ofertas personalizadas
- Mejor administración de las relaciones con los clientes a través de interacciones personalizadas
- Optimización ágil de la combinación de marketing
- Segmentación dinámica de usuarios
- Inteligencia competitiva para mantenerse a la vanguardia
- Gestión proactiva de crisis en las redes sociales
Instructivos, guías de inicio rápido y labs
Transforma tu estrategia de marketing con estadísticas en tiempo real
Transforma tu estrategia de marketing con estadísticas en tiempo real
La inteligencia de marketing en tiempo real analiza los datos actuales del mercado, los clientes y los competidores para tomar decisiones rápidas e informadas. Permite respuestas ágiles a tendencias, comportamientos y acciones competitivas, lo que transforma el marketing. Estos son algunos de los beneficios:
- Marketing en varios canales en tiempo real con ofertas personalizadas
- Mejor administración de las relaciones con los clientes a través de interacciones personalizadas
- Optimización ágil de la combinación de marketing
- Segmentación dinámica de usuarios
- Inteligencia competitiva para mantenerse a la vanguardia
- Gestión proactiva de crisis en las redes sociales
Estadísticas de flujo de clics
Optimiza y personaliza las experiencias web y de apps
Optimiza y personaliza las experiencias web y de apps
El análisis de flujo de clics en tiempo real permite a las empresas analizar al instante las interacciones de los usuarios en sitios web y aplicaciones. Esto permite la personalización en tiempo real, las pruebas A/B y la optimización del embudo, lo que genera una mayor participación, un desarrollo más rápido de los productos, una reducción de la deserción y una mejor asistencia para los productos. En última instancia, permite una experiencia del usuario superior e impulsa el crecimiento de la empresa a través de precios dinámicos y recomendaciones personalizadas.
Instructivos, guías de inicio rápido y labs
Optimiza y personaliza las experiencias web y de apps
Optimiza y personaliza las experiencias web y de apps
El análisis de flujo de clics en tiempo real permite a las empresas analizar al instante las interacciones de los usuarios en sitios web y aplicaciones. Esto permite la personalización en tiempo real, las pruebas A/B y la optimización del embudo, lo que genera una mayor participación, un desarrollo más rápido de los productos, una reducción de la deserción y una mejor asistencia para los productos. En última instancia, permite una experiencia del usuario superior e impulsa el crecimiento de la empresa a través de precios dinámicos y recomendaciones personalizadas.
Replicación y análisis de registros en tiempo real
Administración y análisis de registros centralizados
Administración y análisis de registros centralizados
Los registros de Google Cloud se pueden replicar en plataformas de terceros como Splunk con Dataflow para el procesamiento y el análisis de registros casi en tiempo real. Esta solución proporciona capacidades centralizadas de administración, cumplimiento, auditorías y análisis de registros, a la vez que reduce los costos y mejora el rendimiento.
Instructivos, guías de inicio rápido y labs
Administración y análisis de registros centralizados
Administración y análisis de registros centralizados
Los registros de Google Cloud se pueden replicar en plataformas de terceros como Splunk con Dataflow para el procesamiento y el análisis de registros casi en tiempo real. Esta solución proporciona capacidades centralizadas de administración, cumplimiento, auditorías y análisis de registros, a la vez que reduce los costos y mejora el rendimiento.
Precios
| Cómo funcionan los precios de Dataflow | Explorar el modelo de facturación y recursos de Dataflow | |
|---|---|---|
| Servicios y uso | Descripción | Precios |
Recursos de procesamiento de Dataflow | La facturación de Dataflow para los recursos de procesamiento incluye lo siguiente: | Obtén más información en nuestra página de precios detallada. |
Otros recursos de Dataflow | Otros recursos de Dataflow que se facturan por todos los trabajos incluyen Persistent Disk, instantáneas y GPU. | Obtén más información en nuestra página de precios detallada. |
Descuentos por compromiso de uso (CUDs) de Dataflow | Los CUDs de Dataflow ofrecen dos niveles de descuentos, según el período de compromiso:
| Obtén más información sobre los CUDs de Dataflow. |
Más información sobre los precios de Dataflow. Ver todos los detalles de precios.
Cómo funcionan los precios de Dataflow
Explorar el modelo de facturación y recursos de Dataflow
Recursos de procesamiento de Dataflow
La facturación de Dataflow para los recursos de procesamiento incluye lo siguiente:
Obtén más información en nuestra página de precios detallada.
Otros recursos de Dataflow
Otros recursos de Dataflow que se facturan por todos los trabajos incluyen Persistent Disk, instantáneas y GPU.
Obtén más información en nuestra página de precios detallada.
Descuentos por compromiso de uso (CUDs) de Dataflow
Los CUDs de Dataflow ofrecen dos niveles de descuentos, según el período de compromiso:
- Un CUD de un año te da un descuento del 20% sobre la tarifa según demanda
- Un CUD de tres años te da un descuento del 40% sobre la tarifa según demanda
Obtén más información sobre los CUDs de Dataflow.
Más información sobre los precios de Dataflow. Ver todos los detalles de precios.
Calculadora de precios
Presupuesto personalizado
Comienza tu prueba de concepto
Los clientes nuevos obtienen $300 para probar Dataflow
¿Tienes un proyecto grande?
Cómo usar Dataflow
Plantillas de Dataflow compiladas previamente
Explora las muestras de código de Dataflow
Caso empresarial
Descubre por qué los clientes líderes eligen Dataflow
Namitha Vijaya Kumar, propietaria del producto, SRE de Google Cloud, ANZ Bank
“Dataflow está ayudando tanto a nuestro proceso por lotes como al procesamiento de datos en tiempo real, garantizando así el mantenimiento de la puntualidad de los datos en el lago de datos de la empresa. Esto, a su vez, ayuda al uso posterior de los datos para las estadísticas y la toma de decisiones, y la entrega de notificaciones en tiempo real para nuestros clientes minoristas”.
Leer Forrester WaveContenido relacionado
Entre pares, Google recibió el reconocimiento entre pares como opción elegida por el cliente para el procesamiento de transmisión de eventos
Obtén el informe
Lleva la potencia del AA al mundo de los datos de transmisión con Spotify
Mirar el video
Yahoo compara Dataflow con Apache Flink autoadministrado para dos casos de uso de transmisión
Leer el blog
Beneficios de Dataflow
Transmisión de AA simplificada
Capacidades listas para llevar la transmisión a la IA y el AA: RunInference para inferencia, MLTransform para el procesamiento previo del entrenamiento de modelos, el enriquecimiento para las búsquedas en tiendas de atributos y la compatibilidad dinámica con GPU reducen el trabajo repetitivo sin desperdicio de recursos de GPU.
Relación precio-rendimiento óptima con herramientas sólidas
Dataflow ofrece una transmisión rentable con optimización automatizada para maximizar el rendimiento y el uso de recursos. Escala sin esfuerzo para manejar cualquier carga de trabajo y cuenta con autorreparación potenciada por IA. Las herramientas sólidas ayudan con las operaciones y la comprensión.
Abierto, portátil y extensible
Dataflow se diseñó para Apache Beam de código abierto con compatibilidad unificada por lotes y de transmisión, lo que permite que tus cargas de trabajo sean portátiles entre nubes, de forma local o a dispositivos perimetrales.
Integración y socios
Socios de Dataflow
Los socios de Google Cloud desarrollaron integraciones a Dataflow para permitir la realización rápida y sencilla de tareas potentes de procesamiento de datos de cualquier tamaño. Conoce a todos los socios para comenzar tu recorrido de transmisión hoy mismo.
