Organiza tus páginas con colecciones
Guarda y categoriza el contenido según tus preferencias.
El servicio de Dataflow ejecuta canalizaciones definidas por el SDK de Apache Beam. Sin embargo, para muchos casos de uso, no es necesario escribir código con el SDK, ya que Dataflow proporciona varias opciones sin código y con poco código.
Plantillas. Dataflow proporciona plantillas prediseñadas para transferir datos de un producto a otro. Por ejemplo, puedes usar una plantilla para transferir datos de Pub/Sub a BigQuery.
Compilador de trabajos El compilador de trabajos es una IU visual para compilar canalizaciones de Dataflow en la consola deGoogle Cloud . Admite un subconjunto de fuentes y receptores de Apache Beam, así como transformaciones como uniones, funciones de Python y consultas SQL. Recomendamos el compilador de trabajos para casos de uso simples, como el movimiento de datos.
Transformaciones listas para usar para el AA. Para las canalizaciones de aprendizaje automático (AA), Dataflow proporciona transformaciones listas para usar que requieren una cantidad mínima de código para configurarse. Como punto de partida, ejecuta un notebook de ejemplo de AA en Google Colab. Para obtener más información, consulta la descripción general de Dataflow ML.
SDK de Apache Beam Para aprovechar al máximo Apache Beam, usa el SDK para escribir una canalización personalizada en Python, Java o Go.
Para ayudarte a tomar una decisión, en la siguiente tabla, se enumeran algunos ejemplos comunes.
Quiero…
Enfoque recomendado
Mueve datos de una fuente a un receptor, sin lógica personalizada.
Te recomendamos que comiences con el compilador de trabajos. Si el compilador de trabajos no admite tu caso de uso, consulta si hay una plantilla para él.
Mueve datos de una fuente a un receptor y aplica lógica personalizada con funciones de Python o SQL.
[[["Fácil de comprender","easyToUnderstand","thumb-up"],["Resolvió mi problema","solvedMyProblem","thumb-up"],["Otro","otherUp","thumb-up"]],[["Difícil de entender","hardToUnderstand","thumb-down"],["Información o código de muestra incorrectos","incorrectInformationOrSampleCode","thumb-down"],["Faltan la información o los ejemplos que necesito","missingTheInformationSamplesINeed","thumb-down"],["Problema de traducción","translationIssue","thumb-down"],["Otro","otherDown","thumb-down"]],["Última actualización: 2025-09-04 (UTC)"],[],[],null,["# Get started with Dataflow\n\nThe Dataflow service runs pipelines that are defined by the\nApache Beam SDK. But for many use cases, you don't need to write code\nwith the SDK, because Dataflow provides several no-code and\nlow-code options.\n\n- **Templates** . Dataflow provides\n [prebuilt templates](/dataflow/docs/guides/templates/provided-templates) for\n moving data from one product to another. For example, you can use a template\n to move data from\n [Pub/Sub to BigQuery](/dataflow/docs/guides/templates/provided/pubsub-to-bigquery).\n\n- **Job builder** . The [job builder](/dataflow/docs/guides/job-builder) is a\n visual UI for building Dataflow pipelines in the\n Google Cloud console. It supports a subset of Apache Beam sources and\n sinks, as well as transforms such as joins, Python functions, and SQL\n queries. We recommend the job builder for simple use cases such as data\n movement.\n\n- **Turnkey transforms for ML** . For machine learning (ML) pipelines,\n Dataflow provides\n turnkey transforms that require minimal code to configure. As a\n starting point, run an [example ML\n notebook](https://github.com/apache/beam/blob/master/examples/notebooks/beam-ml/README.md)\n in Google Colab. To learn more, see the [Dataflow ML\n overview](/dataflow/docs/machine-learning).\n\n- **Apache Beam SDK**. To get the full power of Apache Beam, use the\n SDK to write a custom pipeline in Python, Java, or Go.\n\nTo help your decision, the following table lists some common examples.\n\nWhat's next\n-----------\n\n- Get started with a specific Dataflow use case and approach:\n - [Quickstart: Use the job\n builder](/dataflow/docs/quickstarts/create-pipeline-job-builder).\n - [Quickstart: Run a Dataflow\n template](/dataflow/docs/quickstarts/create-streaming-pipeline-template).\n - [Dataflow ML notebook: Use RunInference for Generative AI](/dataflow/docs/notebooks/run_inference_generative_ai).\n - [Create a Dataflow pipeline using the Apache Beam SDK and Python](/dataflow/docs/guides/create-pipeline-python).\n- See more [Dataflow use cases](/dataflow/docs/use-cases).\n- Learn more about [building pipelines](/dataflow/docs/guides/build-pipelines)."]]
