Dataflow se basa en el proyecto de código abierto de Apache Beam. Puedes usar el SDK de Apache Beam a fin de compilar canalizaciones para Dataflow. En este documento, se enumeran algunos recursos para comenzar a usar la programación de Apache Beam.
Instala el SDK de Apache Beam: se muestra cómo instalar el SDK de Apache Beam para que puedas ejecutar las canalizaciones en el servicio de Dataflow.
Guía de programación de Apache Beam: proporciona orientación para usar las clases del SDK de Apache Beam para compilar y probar tu canalización.
Recorrido por Apache Beam: una guía de aprendizaje que puedes usar para familiarizarte con Apache Beam. Las unidades de aprendizaje están acompañadas de ejemplos de código que puedes ejecutar y modificar.
Zona de pruebas de Apache Beam: un entorno interactivo para probar transformaciones y ejemplos de Apache Beam sin tener que instalar Apache Beam en tu entorno.
En el sitio web de Apache Beam, también puedes encontrar información para diseñar, crear y probar tu canalización:
Cómo diseñar tu canalización: se muestra cómo determinar la estructura de tu canalización, cómo elegir qué transformaciones se aplican a tus datos y cómo definir tus métodos de entrada y salida.
Crea tu canalización: se explica la mecánica de usar clases en los SDK de Apache Beam y los pasos necesarios para compilar una canalización.
Prueba tu canalización: Se presentan las recomendaciones para probar las canalizaciones.
Puedes usar los siguientes ejemplos de GitHub de Apache Beam para comenzar a compilar una canalización de transmisión:
- Extracción de palabras a través de transmisión (Java)
- Recuento de palabras a través de transmisión (Python) y
streaming_wordcap(Go).