Empezar a usar Dataflow

El servicio Dataflow ejecuta las canalizaciones definidas por el SDK de Apache Beam. Sin embargo, en muchos casos prácticos, no es necesario escribir código con el SDK, ya que Dataflow ofrece varias opciones sin código y con poco código.

  • Plantillas. Dataflow ofrece plantillas predefinidas para mover datos de un producto a otro. Por ejemplo, puedes usar una plantilla para mover datos de Pub/Sub a BigQuery.

  • Creador de tareas. El creador de tareas es una interfaz de usuario visual para crear flujos de procesamiento de Dataflow en laGoogle Cloud consola. Es compatible con un subconjunto de fuentes y receptores de Apache Beam, así como con transformaciones como combinaciones, funciones de Python y consultas SQL. Recomendamos usar el creador de tareas para casos prácticos sencillos, como el movimiento de datos.

  • Transformaciones listas para usar para el aprendizaje automático. En el caso de las canalizaciones de aprendizaje automático, Dataflow proporciona transformaciones listas para usar que requieren un mínimo de código para configurarse. Para empezar, ejecuta un cuaderno de ejemplo de aprendizaje automático en Google Colab. Para obtener más información, consulta la descripción general de Dataflow ML.

  • SDK de Apache Beam. Para aprovechar todo el potencial de Apache Beam, usa el SDK para escribir una canalización personalizada en Python, Java o Go.

Para ayudarte a tomar una decisión, en la siguiente tabla se muestran algunos ejemplos habituales.

Si quieres... Opción recomendada
Mueve datos de un origen a un receptor sin lógica personalizada.

Creador de tareas o plantilla

Te recomendamos que empieces con el creador de trabajos. Si el creador de trabajos no admite tu caso práctico, comprueba si hay alguna plantilla para él.
Mover datos de un origen a un receptor y aplicar lógica personalizada mediante funciones de Python o SQL. Creador de tareas
Usar un modelo de aprendizaje automático en mi flujo de trabajo o preparar mis datos para el entrenamiento o la inferencia. Transformaciones listas para usar de Dataflow ML
Escribir una canalización que requiera funciones más avanzadas de Apache Beam. SDK de Apache Beam para Java, Python o Go

Siguientes pasos