Documentación de Dataflow | Cloud Dataflow

Dataflow es un servicio administrado que ejecuta una amplia variedad de patrones de procesamiento de datos. La documentación que se ofrece en este sitio muestra cómo implementar las canalizaciones de procesamiento de datos por lotes y de transmisión mediante Dataflow, y también incluyen instrucciones sobre el uso de las características del servicio.

El SDK de Apache Beam es un modelo de programación de código abierto que te permite desarrollar canalizaciones de transmisión y por lotes. Puedes crear tus canalizaciones con un programa de Apache Beam y, luego, ejecutarlas en el servicio de Dataflow. La documentación de Apache Beam proporciona información conceptual detallada y material de referencia sobre el modelo de programación de Apache Beam, los SDK y otros ejecutores.

Apache, Apache Beam, Beam y el logotipo de Beam son marcas comerciales registradas de The Apache Software Foundation en los Estados Unidos o, también, en otros países.

SDK de Apache Beam 2.x: Java o Python
API de REST
Dataflow SQL
Funciones de la línea de comandos de gcloud

Casos de uso

Arquitectura

Compila canalizaciones de datos listas para la producción mediante Dataflow: Descripción general

Una descripción general de cómo usar Dataflow para mejorar la preparación de la producción de tus canalizaciones de datos. Primera parte de una serie.

Transformaciones

Caso de uso

Ejecuta una canalización automatizada de Dataflow para desidentificar un conjunto de datos de PII

Parte de una serie: muestra cómo ejecutar una canalización automatizada de Dataflow para desidentificar un conjunto de datos de muestra que contiene información de identificación personal.

DLP Privacidad

Caso de uso

Detecta anomalías en transacciones financieras con AI Platform, Dataflow y BigQuery

Describe cómo implementar una aplicación de detección de anomalías que identifica transacciones fraudulentas con un modelo de árbol potenciado.

AA Detección

Caso de uso

Implementa exportaciones de registros listas para la producción en Splunk con Dataflow

Crea un mecanismo de exportación de registros escalable y tolerante a errores con Cloud Logging, Pub/Sub y Dataflow. Transmite tus registros y eventos de recursos en Google Cloud a Splunk Enterprise o Splunk Cloud para operaciones de TI o casos prácticos de seguridad.

Sphere Transmisión

Artículo

Patrones de diseño para exportar datos de registro

Explora los patrones de diseño y las prácticas recomendadas para las situaciones comunes de exportación de registros. Puedes exportar tus registros por varios motivos, como retener registros por requisitos de cumplimiento o ejecutar análisis de datos en las métricas extraídas de los registros.

Patrones

Guías

Referencia

Recursos

Casos de uso

Videos