Mit Sammlungen den Überblick behalten
Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.
Der Dataflow-Dienst führt Pipelines aus, die mit dem Apache Beam SDK definiert werden. Für viele Anwendungsfälle müssen Sie mit dem SDK jedoch keinen Code schreiben, da Dataflow mehrere No-Code- und Low-Code-Optionen bietet.
Vorlagen Dataflow bietet vorgefertigte Vorlagen zum Übertragen von Daten von einem Produkt in ein anderes. Sie können beispielsweise eine Vorlage verwenden, um Daten von Pub/Sub nach BigQuery zu verschieben.
Job-Builder Der Job Builder ist eine visuelle Benutzeroberfläche zum Erstellen von Dataflow-Pipelines in derGoogle Cloud -Konsole. Es unterstützt eine Teilmenge von Apache Beam-Quellen und ‑Senken sowie Transformationen wie Joins, Python-Funktionen und SQL-Abfragen. Wir empfehlen den Job Builder für einfache Anwendungsfälle wie die Datenübertragung.
Schlüsselfertige Transformationen für maschinelles Lernen: Für Pipelines für maschinelles Lernen (ML) bietet Dataflow sofort einsatzbereite Transformationen, für deren Konfiguration nur minimaler Code erforderlich ist. Als Ausgangspunkt können Sie ein Beispiel-Notebook für maschinelles Lernen in Google Colab ausführen. Weitere Informationen finden Sie in der Übersicht zu Dataflow ML.
Apache Beam SDK Wenn Sie alle Funktionen von Apache Beam nutzen möchten, verwenden Sie das SDK, um eine benutzerdefinierte Pipeline in Python, Java oder Go zu schreiben.
Die folgende Tabelle enthält einige gängige Beispiele, die Ihnen bei der Entscheidung helfen können.
Meine Auswahl
Empfohlene Vorgehensweise
Daten ohne benutzerdefinierte Logik von einer Quelle in eine Senke verschieben.
Wir empfehlen, mit dem Job-Builder zu beginnen. Wenn der Job-Builder Ihren Anwendungsfall nicht unterstützt, sehen Sie nach, ob es eine Vorlage dafür gibt.
Daten von einer Quelle zu einem Ziel verschieben und benutzerdefinierte Logik mit Python-Funktionen oder SQL anwenden.
[[["Leicht verständlich","easyToUnderstand","thumb-up"],["Mein Problem wurde gelöst","solvedMyProblem","thumb-up"],["Sonstiges","otherUp","thumb-up"]],[["Schwer verständlich","hardToUnderstand","thumb-down"],["Informationen oder Beispielcode falsch","incorrectInformationOrSampleCode","thumb-down"],["Benötigte Informationen/Beispiele nicht gefunden","missingTheInformationSamplesINeed","thumb-down"],["Problem mit der Übersetzung","translationIssue","thumb-down"],["Sonstiges","otherDown","thumb-down"]],["Zuletzt aktualisiert: 2025-09-04 (UTC)."],[],[],null,["# Get started with Dataflow\n\nThe Dataflow service runs pipelines that are defined by the\nApache Beam SDK. But for many use cases, you don't need to write code\nwith the SDK, because Dataflow provides several no-code and\nlow-code options.\n\n- **Templates** . Dataflow provides\n [prebuilt templates](/dataflow/docs/guides/templates/provided-templates) for\n moving data from one product to another. For example, you can use a template\n to move data from\n [Pub/Sub to BigQuery](/dataflow/docs/guides/templates/provided/pubsub-to-bigquery).\n\n- **Job builder** . The [job builder](/dataflow/docs/guides/job-builder) is a\n visual UI for building Dataflow pipelines in the\n Google Cloud console. It supports a subset of Apache Beam sources and\n sinks, as well as transforms such as joins, Python functions, and SQL\n queries. We recommend the job builder for simple use cases such as data\n movement.\n\n- **Turnkey transforms for ML** . For machine learning (ML) pipelines,\n Dataflow provides\n turnkey transforms that require minimal code to configure. As a\n starting point, run an [example ML\n notebook](https://github.com/apache/beam/blob/master/examples/notebooks/beam-ml/README.md)\n in Google Colab. To learn more, see the [Dataflow ML\n overview](/dataflow/docs/machine-learning).\n\n- **Apache Beam SDK**. To get the full power of Apache Beam, use the\n SDK to write a custom pipeline in Python, Java, or Go.\n\nTo help your decision, the following table lists some common examples.\n\nWhat's next\n-----------\n\n- Get started with a specific Dataflow use case and approach:\n - [Quickstart: Use the job\n builder](/dataflow/docs/quickstarts/create-pipeline-job-builder).\n - [Quickstart: Run a Dataflow\n template](/dataflow/docs/quickstarts/create-streaming-pipeline-template).\n - [Dataflow ML notebook: Use RunInference for Generative AI](/dataflow/docs/notebooks/run_inference_generative_ai).\n - [Create a Dataflow pipeline using the Apache Beam SDK and Python](/dataflow/docs/guides/create-pipeline-python).\n- See more [Dataflow use cases](/dataflow/docs/use-cases).\n- Learn more about [building pipelines](/dataflow/docs/guides/build-pipelines)."]]
