Únete a nuestra sesión en Google Cloud Next '23 para conocer las innovaciones más recientes de Dataflow.
Ir a
Dataflow

Dataflow

Procesamiento unificado de datos por lotes y de transmisión rápido, sin servidores y rentable.

Los clientes nuevos obtienen $300 en créditos gratuitos que pueden usar en Dataflow.

  • Activación y estadísticas en tiempo real con transmisión de datos y aprendizaje automático

  • Servicio de procesamiento de datos completamente administrado

  • Aprovisionamiento y administración automáticos de los recursos de procesamiento

  • Ajuste de escala automático horizontal y vertical de los recursos de trabajador para maximizar la utilización de los recursos

  • Innovación en OSS impulsada por la comunidad con el SDK de Apache Beam

Beneficios

Transmite estadísticas de datos con velocidad

Dataflow permite desarrollar canalizaciones de transmisión de datos de forma simplificada y rápida con una latencia de datos más baja.

Simplifica las operaciones y la administración

Permite que los equipos se centren en programar en lugar de administrar clústeres de servidores, ya que el enfoque sin servidores de Dataflow quita la sobrecarga operativa de las cargas de trabajo de ingeniería de datos.

Reduce el costo total de propiedad

Dataflow combina el ajuste de escala automático de los recursos con las capacidades de procesamiento por lotes con optimización del costo, por lo que puede ofrecer una capacidad prácticamente ilimitada para que administres las cargas de trabajo estacionales y con incrementos bruscos sin gastar de más.

Características clave

Características clave

IA en tiempo real lista para usar

Las capacidades de IA en tiempo real de Dataflow, que están habilitadas a través de funciones de AA listas para usar, como la GPU NVIDIA y los patrones listos para usar, permiten generar reacciones en tiempo real con inteligencia casi humana ante enormes cantidades de eventos.

Los clientes pueden compilar soluciones inteligentes que van desde estadísticas predictivas y detección de anomalías hasta personalización en tiempo real y otros casos de uso de analítica avanzada.

Entrena, implementa y administra canalizaciones completas de aprendizaje automático (AA), incluida la inferencia local y remota con canalizaciones por lotes y de transmisión. 

Ajuste de escala automático de recursos y rebalanceo dinámico de trabajos

Minimiza la latencia de las canalizaciones, maximiza el uso de recursos y reduce el costo de procesamiento por registro de datos con un ajuste de escala automático de recursos adaptado a los datos. Las entradas de datos se particionan de forma automática y se balancean constantemente para equilibrar el uso de trabajadores y de recursos, y reducir el efecto de las “teclas de acceso rápido” en el rendimiento de las canalizaciones.

Supervisión y observabilidad

Observa los datos en cada paso de una canalización de Dataflow. Diagnostica problemas y soluciónalos de forma eficaz con muestras de datos reales. Compara diferentes ejecuciones del trabajo para identificar problemas con facilidad.

Ver todas las características

Documentación

Documentación

Instructivo

Serverless Data Processing with Dataflow: Foundations

Capacitación básica sobre todo lo que necesitas saber sobre Dataflow.
Instructivo

Guía de inicio rápido de Dataflow con Python

Configura el proyecto de Google Cloud y el entorno de desarrollo de Python, obtén el SDK de Python de Apache Beam, y ejecuta y modifica el ejemplo de WordCount en el servicio de Dataflow.
Instructivo

Usa Dataflow SQL

Crea una consulta de SQL y, después, implementa un trabajo de Dataflow para ejecutar la consulta desde la IU de Dataflow SQL.
Instructivo

Instala el SDK de Apache Beam

Instala el SDK de Apache Beam para que puedas ejecutar las canalizaciones en el servicio de Dataflow.
Instructivo

Aprendizaje automático con Apache Beam y TensorFlow

Preprocesa, entrena y haz predicciones en un modelo de aprendizaje automático de energía molecular mediante Apache Beam, Dataflow y TensorFlow.