Restez organisé à l'aide des collections
Enregistrez et classez les contenus selon vos préférences.
Le service Dataflow exécute les pipelines définis par le SDK Apache Beam. Toutefois, pour de nombreux cas d'utilisation, vous n'avez pas besoin d'écrire de code avec le SDK, car Dataflow propose plusieurs options sans code et à faible code.
Modèles. Dataflow fournit des modèles prédéfinis pour transférer des données d'un produit à un autre. Par exemple, vous pouvez utiliser un modèle pour déplacer des données de Pub/Sub vers BigQuery.
Outil de création de jobs Le générateur de jobs est une interface utilisateur visuelle permettant de créer des pipelines Dataflow dans la consoleGoogle Cloud . Il est compatible avec un sous-ensemble de sources et de récepteurs Apache Beam, ainsi qu'avec des transformations telles que les jointures, les fonctions Python et les requêtes SQL. Nous recommandons le générateur de tâches pour les cas d'utilisation simples, tels que le déplacement de données.
Transformations clé en main pour le ML. Pour les pipelines de machine learning (ML), Dataflow fournit des transformations clés en main qui nécessitent un minimum de code pour être configurées. Pour commencer, exécutez un exemple de notebook de ML dans Google Colab. Pour en savoir plus, consultez la présentation de Dataflow ML.
SDK Apache Beam Pour exploiter tout le potentiel d'Apache Beam, utilisez le SDK pour écrire un pipeline personnalisé en Python, Java ou Go.
Pour vous aider à prendre votre décision, le tableau suivant présente quelques exemples courants.
Je souhaite…
Approche recommandée
Déplacer des données d'une source vers un récepteur, sans logique personnalisée.
Nous vous recommandons de commencer par l'outil de création de tâches. Si le générateur de jobs n'est pas compatible avec votre cas d'utilisation, vérifiez s'il existe un modèle pour celui-ci.
Déplacez des données d'une source vers un récepteur et appliquez une logique personnalisée à l'aide de fonctions Python ou de SQL.
Sauf indication contraire, le contenu de cette page est régi par une licence Creative Commons Attribution 4.0, et les échantillons de code sont régis par une licence Apache 2.0. Pour en savoir plus, consultez les Règles du site Google Developers. Java est une marque déposée d'Oracle et/ou de ses sociétés affiliées.
Dernière mise à jour le 2025/09/04 (UTC).
[[["Facile à comprendre","easyToUnderstand","thumb-up"],["J'ai pu résoudre mon problème","solvedMyProblem","thumb-up"],["Autre","otherUp","thumb-up"]],[["Difficile à comprendre","hardToUnderstand","thumb-down"],["Informations ou exemple de code incorrects","incorrectInformationOrSampleCode","thumb-down"],["Il n'y a pas l'information/les exemples dont j'ai besoin","missingTheInformationSamplesINeed","thumb-down"],["Problème de traduction","translationIssue","thumb-down"],["Autre","otherDown","thumb-down"]],["Dernière mise à jour le 2025/09/04 (UTC)."],[],[],null,["# Get started with Dataflow\n\nThe Dataflow service runs pipelines that are defined by the\nApache Beam SDK. But for many use cases, you don't need to write code\nwith the SDK, because Dataflow provides several no-code and\nlow-code options.\n\n- **Templates** . Dataflow provides\n [prebuilt templates](/dataflow/docs/guides/templates/provided-templates) for\n moving data from one product to another. For example, you can use a template\n to move data from\n [Pub/Sub to BigQuery](/dataflow/docs/guides/templates/provided/pubsub-to-bigquery).\n\n- **Job builder** . The [job builder](/dataflow/docs/guides/job-builder) is a\n visual UI for building Dataflow pipelines in the\n Google Cloud console. It supports a subset of Apache Beam sources and\n sinks, as well as transforms such as joins, Python functions, and SQL\n queries. We recommend the job builder for simple use cases such as data\n movement.\n\n- **Turnkey transforms for ML** . For machine learning (ML) pipelines,\n Dataflow provides\n turnkey transforms that require minimal code to configure. As a\n starting point, run an [example ML\n notebook](https://github.com/apache/beam/blob/master/examples/notebooks/beam-ml/README.md)\n in Google Colab. To learn more, see the [Dataflow ML\n overview](/dataflow/docs/machine-learning).\n\n- **Apache Beam SDK**. To get the full power of Apache Beam, use the\n SDK to write a custom pipeline in Python, Java, or Go.\n\nTo help your decision, the following table lists some common examples.\n\nWhat's next\n-----------\n\n- Get started with a specific Dataflow use case and approach:\n - [Quickstart: Use the job\n builder](/dataflow/docs/quickstarts/create-pipeline-job-builder).\n - [Quickstart: Run a Dataflow\n template](/dataflow/docs/quickstarts/create-streaming-pipeline-template).\n - [Dataflow ML notebook: Use RunInference for Generative AI](/dataflow/docs/notebooks/run_inference_generative_ai).\n - [Create a Dataflow pipeline using the Apache Beam SDK and Python](/dataflow/docs/guides/create-pipeline-python).\n- See more [Dataflow use cases](/dataflow/docs/use-cases).\n- Learn more about [building pipelines](/dataflow/docs/guides/build-pipelines)."]]
