Usa Apache Beam para compilar canalizaciones

Dataflow se basa en el proyecto de código abierto de Apache Beam. Puedes usar el SDK de Apache Beam a fin de compilar canalizaciones para Dataflow. En este documento, se enumeran algunos recursos para comenzar a usar la programación de Apache Beam.

  • Instala el SDK de Apache Beam: se muestra cómo instalar el SDK de Apache Beam para que puedas ejecutar las canalizaciones en el servicio de Dataflow.

  • Guía de programación de Apache Beam: proporciona orientación para usar las clases del SDK de Apache Beam para compilar y probar tu canalización.

  • Recorrido por Apache Beam: una guía de aprendizaje que puedes usar para familiarizarte con Apache Beam. Las unidades de aprendizaje están acompañadas de ejemplos de código que puedes ejecutar y modificar.

  • Zona de pruebas de Apache Beam: un entorno interactivo para probar transformaciones y ejemplos de Apache Beam sin tener que instalar Apache Beam en tu entorno.

En el sitio web de Apache Beam, también puedes encontrar información para diseñar, crear y probar tu canalización:

  • Cómo diseñar tu canalización: se muestra cómo determinar la estructura de tu canalización, cómo elegir qué transformaciones se aplican a tus datos y cómo definir tus métodos de entrada y salida.

  • Crea tu canalización: se explica la mecánica de usar clases en los SDK de Apache Beam y los pasos necesarios para compilar una canalización.

  • Prueba tu canalización: Se presentan las recomendaciones para probar las canalizaciones.

Puedes usar los siguientes ejemplos de GitHub de Apache Beam para comenzar a compilar una canalización de transmisión: