Google fournit des modèles Dataflow Open Source que vous pouvez utiliser au lieu d'écrire du code de pipeline. Cette page répertorie les modèles disponibles.
- Des informations générales sur les modèles sont disponibles sur la page Présentation.
- Pour commencer, exécutez l'exemple de modèle WordCount.
- Pour créer votre propre modèle, découvrez comment étendre les modèles.
Streaming templates
Modèles destinés au traitement des données en continu :
- Apache Kafka vers Apache Kafka
- Apache Kafka vers BigQuery
- Apache Kafka vers Cloud Storage
- Capture des données modifiées de MySQL vers BigQuery (flux)
- Flux de modifications de Bigtable vers BigQuery
- Flux de modifications de Bigtable vers Pub/Sub
- Flux de modifications de Spanner vers BigQuery
- Flux de modifications de Spanner vers Cloud Storage
- Flux de modifications de Spanner vers Pub/Sub
- DataStream vers BigQuery (flux)
- Datastream vers Spanner
- Datastream vers MySQL ou PostgreSQL (flux)
- Masquage/Tokenisation de données de Cloud Storage vers BigQuery (à l'aide de Cloud DLP)
- JMS vers Pub/Sub
- MongoDB vers BigQuery (flux)
- MQTT vers Pub/Sub
- Pub/Sub vers BigQuery
- Pub/Sub vers BigQuery avec Python UDF
- Pub/Sub Avro vers BigQuery
- Proto Pub/Sub vers BigQuery
- Proto Pub/Sub vers BigQuery avec la fonction Python définie par l'utilisateur
- Abonnement Pub/Sub vers BigQuery
- Pub/Sub vers fichiers Avro dans Cloud Storage
- Pub/Sub vers Datadog
- Pub/Sub vers Elasticsearch
- Pub/Sub vers Java Database Connectivity (JDBC)
- Pub/Sub vers MongoDB
- Pub/Sub vers MongoDB avec Python UDF
- Pub/Sub vers Pub/Sub
- Pub/Sub vers Redis
- Pub/Sub vers Splunk
- Sujet Pub/Sub ou abonnement vers des fichiers texte dans Cloud Storage
- Sujet Pub/Sub vers des fichiers texte dans Cloud Storage
- Fichiers texte dans Cloud Storage vers BigQuery (Flux)
- Fichiers texte Cloud Storage vers BigQuery avec UDF Python
- Fichiers texte sur Cloud Storage vers Pub/Sub (flux)
Batch templates
Modèles destinés au traitement des données de manière groupée :
- Toute base de données source vers Spanner
- Apache Cassandra vers Bigtable
- AstraDB vers BigQuery
- BigQuery vers Bigtable
- Exporter de BigQuery vers Parquet (via l'API Storage)
- BigQuery vers TFRecords Cloud Storage
- BigQuery vers Elasticsearch
- BigQuery vers MongoDB
- Bigtable vers Cloud Storage Avro
- Bigtable vers Cloud Storage JSON
- Bigtable vers Cloud Storage Parquet
- Bigtable vers Cloud Storage SequenceFile
- Changement de flux Bigtable vers Vertex AI Vector Search
- Bigtable vers fichiers Vertex AI Vector Search sur Cloud Storage
- Spanner vers BigQuery
- Spanner vers Cloud Storage Avro
- Spanner vers Texte Cloud Storage
- Spanner vers fichiers Vertex AI Vector Search sur Cloud Storage
- Cloud Storage Avro vers Bigtable
- Cloud Storage Parquet vers Bigtable
- Cloud Storage SequenceFile vers Bigtable
- Cloud Storage Avro vers Spanner
- Fichiers CSV Cloud Storage vers BigQuery
- Texte Cloud Storage vers BigQuery
- Fichiers texte Cloud Storage vers BigQuery avec UDF Python
- Texte Cloud Storage vers Spanner
- Texte Cloud Storage vers Datastore [obsolète]
- Texte Cloud Storage vers Firestore (mode Datastore)
- Texte Cloud Storage vers Pub/Sub (lot)
- Cloud Storage vers Elasticsearch
- Datastore vers texte Cloud Storage [obsolète]
- Firestore (mode Datastore) vers texte Cloud Storage
- Google Ads vers BigQuery
- Google Cloud vers Neo4j
- JDBC vers BigQuery
- JDBC vers Pub/Sub
- MongoDB vers BigQuery
- MySQL vers BigQuery
- Oracle vers BigQuery
- PostgreSQL vers BigQuery
- SQL Server vers BigQuery