Dataflow

Análisis de transmisiones para IA generativa y inteligencia en tiempo real

Maximiza el potencial de tus datos en tiempo real. Dataflow es una plataforma de transmisión completamente administrada, fácil de usar y escalable para acelerar la IA y el AA en tiempo real.

Los clientes nuevos obtienen $300 en créditos gratuitos que pueden usar en Dataflow.

Funciones

Usa IA y AA de transmisión para potenciar los modelos de IA generativa en tiempo real

Los datos en tiempo real potencian los modelos de IA y AA con la información más reciente, lo que mejora la exactitud de las predicciones. Dataflow ML simplifica la implementación y la administración de canalizaciones de AA completas. Ofrecemos patrones listos para usar con recomendaciones personalizadas, detección de fraudes, prevención de amenazas y mucho más. Compila IA de transmisión con Vertex AI, modelos de Gemini y modelos de Gemma, ejecuta inferencia remota y optimiza el procesamiento de datos con MLTransform. Mejora la eficiencia de los trabajos de MLOps y AA con la GPU de Dataflow y las capacidades de ajuste adecuado.

Habilita casos de uso avanzados de transmisión a escala empresarial

Dataflow es un servicio completamente administrado que usa el SDK de Apache Beam de código abierto para habilitar casos de uso avanzados de transmisión a escala empresarial. Ofrece numerosas capacidades para estado y hora, transformaciones y conectores de E/S. Dataflow escala a 4,000 trabajadores por trabajo y procesa petabytes de datos de manera rutinaria. Presenta el ajuste de escala automático para un uso óptimo de los recursos en las canalizaciones por lotes y de transmisión.

Implementa el procesamiento de datos multimodal para la IA generativa

Dataflow permite la transferencia y transformación paralelas de datos multimodales, como imágenes, texto y audio. Aplica la extracción de atributos especializados para cada modalidad y, luego, los fusiona en una representación unificada. Estos feed de datos fusionados se incorporan a los modelos de IA generativa, lo que les permite crear contenido nuevo a partir de diversas entradas. Los equipos internos de Google aprovechan Dataflow y FlumeJava para organizar y calcular predicciones de modelos para un gran grupo de datos de entrada disponibles sin requisitos de latencia.

Acelera el tiempo de generación de valor con plantillas y notebooks

Dataflow tiene herramientas que facilitan los primeros pasos. Las plantillas de Dataflow son planos prediseñados para el procesamiento de transmisión y por lotes, y están optimizadas para una integración eficiente de datos de CDC y BigQuery. Crea canalizaciones de forma iterativa con los frameworks de ciencia de datos más recientes desde cero con notebooks de Vertex AI y realiza implementaciones con el ejecutor de Dataflow.El compilador de trabajos de Dataflow es una IU visual para compilar y ejecutar canalizaciones de Dataflow en la consola de Google Cloud, sin escribir ningún código.

Ahorra tiempo con herramientas de supervisión y diagnóstico inteligentes

Dataflow ofrece herramientas de diagnóstico y supervisión integrales. La detección de retrasos identifica automáticamente los cuellos de botella de rendimiento, mientras que el muestreo de datos permite observar los datos en cada paso de la canalización. Dataflow Insights ofrece recomendaciones para mejorar los trabajos. La IU de Dataflow proporciona herramientas de supervisión enriquecidas, incluidos gráficos de trabajos, detalles de ejecución, métricas, paneles de ajuste de escala automático y registros. Dataflow también cuenta con una IU de supervisión de costos de trabajos para estimar el costo de forma sencilla.

Administración y seguridad integradas

Dataflow te ayuda a proteger tus datos de varias maneras: mediante la encriptación de los datos en uso con la asistencia de Confidential VM; claves de encriptación administradas por el cliente (CMEK); integración de los Controles del servicio de VPC desactivando las IP públicas. El registro de auditoría de Dataflow le brinda a tu organización la visibilidad del uso de Dataflow y ayuda a responder la pregunta “¿Quién hizo qué, dónde y cuándo?”. para una mejor administración.

Cómo funciona

Dataflow es una plataforma completamente administrada para el procesamiento de datos por lotes y de transmisión. Habilita canalizaciones de ETL escalables, análisis de transmisiones en tiempo real, AA en tiempo real y transformaciones de datos complejas con el modelo unificado de Apache Beam, todo en una infraestructura sin servidores de Google Cloud.

Miniatura de un edificio grande con el ícono de Datflow encima y, a la derecha, un hombre hace malabares con Pub/Sub, Cloud Storage y Cloud AutoML
Conoce Dataflow en un minuto, incluido cómo funciona y algunos casos de uso frecuentes

Usos comunes

IA generativa y AA en tiempo real

Toma medidas en tiempo real con la transmisión de AA/IA

Divide en segundas decisiones genera valor empresarial. Dataflow Streaming AI y AA permiten que los clientes implementen inferencias y predicciones de baja latencia, personalización en tiempo real, detección de amenazas, prevención de fraudes y muchos más casos de uso en los que la inteligencia en tiempo real es importante. Preprocesa datos con MLTransform, que te permite enfocarte en transformar tus datos y dejar de escribir código complejo o administrar bibliotecas subyacentes. Haz predicciones a tu modelo de IA generativa con RunInference.



Mira el boceto de Google Cloud sobre IA generativa y AA en tiempo real con Dataflow

Toma medidas en tiempo real con la transmisión de AA/IA

Divide en segundas decisiones genera valor empresarial. Dataflow Streaming AI y AA permiten que los clientes implementen inferencias y predicciones de baja latencia, personalización en tiempo real, detección de amenazas, prevención de fraudes y muchos más casos de uso en los que la inteligencia en tiempo real es importante. Preprocesa datos con MLTransform, que te permite enfocarte en transformar tus datos y dejar de escribir código complejo o administrar bibliotecas subyacentes. Haz predicciones a tu modelo de IA generativa con RunInference.



Mira el boceto de Google Cloud sobre IA generativa y AA en tiempo real con Dataflow

Análisis de transmisiones

Incorpora los datos de transmisión para obtener estadísticas en tiempo real y canalizaciones operativas

Comienza tu recorrido por la transmisión de datos integrando tus fuentes de datos de transmisión (PubSub, Kafka, eventos de CDC, flujo de clics de usuarios, registros y datos de sensores) en BigQuery, data lakes de GCS, Spanner, Bigtable, almacenes de SQL, Splunk, Datadog y mucho más. Explora las plantillas de Dataflow optimizadas para configurar tus canalizaciones con unos pocos clics y sin código. Agrega lógica personalizada a tus trabajos de plantilla con un compilador de UDF integrado o crea canalizaciones de ETL personalizadas desde cero con toda la potencia de las transformaciones de Beam y el ecosistema de conectores de E/S. Dataflow también se usa frecuentemente para revertir los datos procesados ETL de BigQuery a almacenes OLTP para búsquedas rápidas y entregar a los usuarios finales. Es un patrón común para que Dataflow escriba datos de transmisión en varias ubicaciones de almacenamiento.


Explorar las plantillas de Dataflow te permite implementar una canalización de Dataflow empaquetada previamente para su implementación
Análisis de transmisiones en la arquitectura de Google Cloud

Inicia tu primer trabajo de Dataflow y realiza nuestro curso autoguiado sobre las bases de Dataflow.

Incorpora los datos de transmisión para obtener estadísticas en tiempo real y canalizaciones operativas

Comienza tu recorrido por la transmisión de datos integrando tus fuentes de datos de transmisión (PubSub, Kafka, eventos de CDC, flujo de clics de usuarios, registros y datos de sensores) en BigQuery, data lakes de GCS, Spanner, Bigtable, almacenes de SQL, Splunk, Datadog y mucho más. Explora las plantillas de Dataflow optimizadas para configurar tus canalizaciones con unos pocos clics y sin código. Agrega lógica personalizada a tus trabajos de plantilla con un compilador de UDF integrado o crea canalizaciones de ETL personalizadas desde cero con toda la potencia de las transformaciones de Beam y el ecosistema de conectores de E/S. Dataflow también se usa frecuentemente para revertir los datos procesados ETL de BigQuery a almacenes OLTP para búsquedas rápidas y entregar a los usuarios finales. Es un patrón común para que Dataflow escriba datos de transmisión en varias ubicaciones de almacenamiento.


Explorar las plantillas de Dataflow te permite implementar una canalización de Dataflow empaquetada previamente para su implementación
Análisis de transmisiones en la arquitectura de Google Cloud

Inicia tu primer trabajo de Dataflow y realiza nuestro curso autoguiado sobre las bases de Dataflow.

Integración de datos y ETL en tiempo real

Moderniza tu plataforma de datos con datos en tiempo real

ETL en tiempo real y proceso de integración, y escritura de datos de inmediato, lo que permite un análisis y una toma de decisiones rápidos. La arquitectura sin servidores y las capacidades de transmisión de Dataflow lo hacen ideal para compilar canalizaciones de ETL en tiempo real. La capacidad de ajuste de escala automático de Dataflow garantiza la eficiencia y el escalamiento, mientras que su compatibilidad con varias fuentes de datos y destinos simplifica la integración.

Observa el esbozo de Google Cloud sobre ETL en tiempo real y la integración de datos con Dataflow

Crea tus aspectos básicos con el procesamiento por lotes en Dataflow con este curso de Google Cloud Skills Boost.

Moderniza tu plataforma de datos con datos en tiempo real

ETL en tiempo real y proceso de integración, y escritura de datos de inmediato, lo que permite un análisis y una toma de decisiones rápidos. La arquitectura sin servidores y las capacidades de transmisión de Dataflow lo hacen ideal para compilar canalizaciones de ETL en tiempo real. La capacidad de ajuste de escala automático de Dataflow garantiza la eficiencia y el escalamiento, mientras que su compatibilidad con varias fuentes de datos y destinos simplifica la integración.

Observa el esbozo de Google Cloud sobre ETL en tiempo real y la integración de datos con Dataflow

Crea tus aspectos básicos con el procesamiento por lotes en Dataflow con este curso de Google Cloud Skills Boost.

Marketing Intelligence

Transforma tu estrategia de marketing con estadísticas en tiempo real

La inteligencia de marketing en tiempo real analiza los datos actuales del mercado, los clientes y los competidores para tomar decisiones rápidas e informadas. Permite respuestas ágiles a tendencias, comportamientos y acciones competitivas, lo que transforma el marketing. Estos son algunos de los beneficios:

  • Marketing en varios canales en tiempo real con ofertas personalizadas
  • Mejor administración de las relaciones con los clientes a través de interacciones personalizadas
  • Optimización ágil de la combinación de marketing
  • Segmentación dinámica de usuarios
  • Inteligencia competitiva para mantenerse a la vanguardia
  • Gestión proactiva de crisis en las redes sociales
Observa el boceto de Google Cloud sobre inteligencia de marketing con Dataflow

    Transforma tu estrategia de marketing con estadísticas en tiempo real

    La inteligencia de marketing en tiempo real analiza los datos actuales del mercado, los clientes y los competidores para tomar decisiones rápidas e informadas. Permite respuestas ágiles a tendencias, comportamientos y acciones competitivas, lo que transforma el marketing. Estos son algunos de los beneficios:

    • Marketing en varios canales en tiempo real con ofertas personalizadas
    • Mejor administración de las relaciones con los clientes a través de interacciones personalizadas
    • Optimización ágil de la combinación de marketing
    • Segmentación dinámica de usuarios
    • Inteligencia competitiva para mantenerse a la vanguardia
    • Gestión proactiva de crisis en las redes sociales
    Observa el boceto de Google Cloud sobre inteligencia de marketing con Dataflow

      Estadísticas de flujo de clics

      Optimiza y personaliza las experiencias web y de apps

      El análisis de flujo de clics en tiempo real permite a las empresas analizar al instante las interacciones de los usuarios en sitios web y aplicaciones. Esto permite la personalización en tiempo real, las pruebas A/B y la optimización del embudo, lo que genera una mayor participación, un desarrollo más rápido de los productos, una reducción de la deserción y una mejor asistencia para los productos. En última instancia, permite una experiencia del usuario superior e impulsa el crecimiento de la empresa a través de precios dinámicos y recomendaciones personalizadas.

      Observa el boceto de Google Cloud para obtener estadísticas de flujo de clics en tiempo real con Dataflow

        Optimiza y personaliza las experiencias web y de apps

        El análisis de flujo de clics en tiempo real permite a las empresas analizar al instante las interacciones de los usuarios en sitios web y aplicaciones. Esto permite la personalización en tiempo real, las pruebas A/B y la optimización del embudo, lo que genera una mayor participación, un desarrollo más rápido de los productos, una reducción de la deserción y una mejor asistencia para los productos. En última instancia, permite una experiencia del usuario superior e impulsa el crecimiento de la empresa a través de precios dinámicos y recomendaciones personalizadas.

        Observa el boceto de Google Cloud para obtener estadísticas de flujo de clics en tiempo real con Dataflow

          Precios

          Cómo funcionan los precios de DataflowExplorar el modelo de facturación y recursos de Dataflow
          Servicios y usoDescripción Precios

          Recursos de procesamiento de Dataflow

          Obtén más información en nuestra página de precios detallada.

          Otros recursos de Dataflow

          Otros recursos de Dataflow que se facturan por todos los trabajos incluyen Persistent Disk, instantáneas y GPU.



          Obtén más información en nuestra página de precios detallada.

          Descuentos por compromiso de uso (CUDs) de Dataflow

          Los CUDs de Dataflow ofrecen dos niveles de descuentos, según el período de compromiso:

          • Un CUD de un año te da un descuento del 20% sobre la tarifa según demanda
          • Un CUD de tres años te da un descuento del 40% sobre la tarifa según demanda

          Obtén más información sobre los CUDs de Dataflow.

          Más información sobre los precios de Dataflow. Ver todos los detalles de precios.

          Cómo funcionan los precios de Dataflow

          Explorar el modelo de facturación y recursos de Dataflow

          Recursos de procesamiento de Dataflow

          Descripción
          Precios

          Obtén más información en nuestra página de precios detallada.

          Otros recursos de Dataflow

          Descripción

          Otros recursos de Dataflow que se facturan por todos los trabajos incluyen Persistent Disk, instantáneas y GPU.



          Precios

          Obtén más información en nuestra página de precios detallada.

          Descuentos por compromiso de uso (CUDs) de Dataflow

          Descripción

          Los CUDs de Dataflow ofrecen dos niveles de descuentos, según el período de compromiso:

          • Un CUD de un año te da un descuento del 20% sobre la tarifa según demanda
          • Un CUD de tres años te da un descuento del 40% sobre la tarifa según demanda
          Precios

          Obtén más información sobre los CUDs de Dataflow.

          Más información sobre los precios de Dataflow. Ver todos los detalles de precios.

          Calculadora de precios

          Calcula los costos mensuales de Dataflow, incluidos los precios y las tarifas específicos de una región.

          Presupuesto personalizado

          Comunícate con nuestro equipo de Ventas a fin de obtener una cotización personalizada para tu organización.

          Comienza tu prueba de concepto

          Los clientes nuevos obtienen $300 para probar Dataflow

          ¿Tienes un proyecto grande?

          Cómo usar Dataflow

          Plantillas de Dataflow compiladas previamente

          Explora las muestras de código de Dataflow

          Caso empresarial

          Descubre por qué los clientes líderes eligen Dataflow


          Namitha Vijaya Kumar, propietaria del producto, SRE de GCP, ANZ Bank

          “Dataflow está ayudando tanto a nuestro proceso por lotes como al procesamiento de datos en tiempo real, garantizando así el mantenimiento de la puntualidad de los datos en el lago de datos de la empresa. Esto, a su vez, ayuda al uso posterior de los datos para las estadísticas y la toma de decisiones, y la entrega de notificaciones en tiempo real para nuestros clientes minoristas”.

          Leer la historia del cliente

          Beneficios de Dataflow

          Transmisión de AA simplificada

          Capacidades listas para llevar la transmisión a la IA y el AA: RunInference para inferencia, MLTransform para el procesamiento previo del entrenamiento de modelos, el enriquecimiento para las búsquedas en tiendas de atributos y la compatibilidad dinámica con GPU reducen el trabajo repetitivo sin desperdicio de recursos de GPU.

          Relación precio-rendimiento óptima con herramientas sólidas

          Dataflow ofrece una transmisión rentable con optimización automatizada para maximizar el rendimiento y el uso de recursos. Escala sin esfuerzo para manejar cualquier carga de trabajo y cuenta con autorreparación potenciada por IA. Las herramientas sólidas ayudan con las operaciones y la comprensión.

          Abierto, portátil y extensible

          Dataflow se diseñó para Apache Beam de código abierto con compatibilidad unificada por lotes y de transmisión, lo que permite que tus cargas de trabajo sean portátiles entre nubes, de forma local o a dispositivos perimetrales.

          Integración y socios

          • Logotipo de Confluent
          • Logotipo de Snowplow
          • Logotipo de Talend
          • Logotipo de Trifacta
          • Logotipo de Confluent
          • Logotipo de Snowplow
          • Logotipo de Talend
          • Logotipo de Trifacta

          Los socios de Google Cloud desarrollaron integraciones a Dataflow para permitir la realización rápida y sencilla de tareas potentes de procesamiento de datos de cualquier tamaño. Conoce a todos los socios para comenzar tu recorrido de transmisión hoy mismo.

          Google Cloud
          • ‪English‬
          • ‪Deutsch‬
          • ‪Español‬
          • ‪Español (Latinoamérica)‬
          • ‪Français‬
          • ‪Indonesia‬
          • ‪Italiano‬
          • ‪Português (Brasil)‬
          • ‪简体中文‬
          • ‪繁體中文‬
          • ‪日本語‬
          • ‪한국어‬
          Consola
          Google Cloud