Google では、パイプライン コードを記述する代わりに使用できるオープンソースの Dataflow テンプレートを提供しています。このページでは、利用可能なテンプレートの一覧を示します。
- テンプレートに関する一般的な情報については、概要ページをご覧ください。
- まず、サンプル テンプレートの WordCount を実行します。
- 独自のテンプレートを作成するには、テンプレートを拡張する方法をご覧ください。
ストリーミング テンプレート
データを継続的に処理するためのテンプレート
- Apache Kafka to Apache Kafka
- Apache Kafka to BigQuery
- Apache Kafka to Cloud Storage
- Change Data Capture from MySQL to BigQuery（Stream）
- Bigtable change streams to BigQuery
- Bigtable change streams to Pub/Sub
- Spanner change streams to BigQuery
- Spanner change streams to Cloud Storage
- Spanner change streams to Pub/Sub
- Datastream to BigQuery（Stream）
- Datastream to Spanner
- Datastream to MySQL or PostgreSQL（Stream）
- Data Masking/Tokenization from Cloud Storage to BigQuery（using Cloud DLP）
- JMS to Pub/Sub
- MongoDB to BigQuery（CDC）
- MQTT to Pub/Sub
- Pub/Sub to BigQuery
- Pub/Sub to BigQuery with Python UDF
- Pub/Sub Avro to BigQuery
- Pub/Sub Proto to BigQuery
- Pub/Sub Proto to BigQuery with Python UDF
- Pub/Sub Subscription to BigQuery
- Pub/Sub to Avro Files on Cloud Storage
- Pub/Sub to Datadog
- Pub/Sub to Elasticsearch
- Pub/Sub to Java Database Connectivity（JDBC）
- Pub/Sub to MongoDB
- Pub/Sub to MongoDB with Python UDF
- Pub/Sub to Pub/Sub
- Pub/Sub to Redis
- Pub/Sub to Splunk
- Pub/Sub Topic or Subscription to Text Files on Cloud Storage
- Pub/Sub Topic to Text Files on Cloud Storage
- Text Files on Cloud Storage to BigQuery（Stream）
- Cloud Storage text files to BigQuery with Python UDF
- Text Files on Cloud Storage to Pub/Sub（Stream）
バッチ テンプレート
データを一括処理するためのテンプレート:
- Apache Cassandra to Bigtable
- AstraDB to BigQuery
- BigQuery to Bigtable
- BigQuery export to Parquet（via Storage API）
- BigQuery to Cloud Storage TFRecords
- BigQuery to Elasticsearch
- BigQuery to MongoDB
- Bigtable to Cloud Storage Avro
- Bigtable to Cloud Storage JSON
- Bigtable to Cloud Storage Parquet
- Bigtable to Cloud Storage SequenceFile
- Bigtable change streams to Vertex AI Vector Search
- Bigtable to Vertex AI Vector Search files on Cloud Storage
- Spanner to BigQuery
- Spanner to Cloud Storage Avro
- Spanner to Cloud Storage Text
- Spanner to Vertex AI Vector Search files on Cloud Storage
- Cloud Storage Avro to Bigtable
- Cloud Storage Parquet to Bigtable
- Cloud Storage SequenceFile to Bigtable
- Cloud Storage Avro to Spanner
- Cloud Storage CSV files to BigQuery
- Cloud Storage Text to BigQuery
- Cloud Storage text files to BigQuery with Python UDF
- Cloud Storage Text to Spanner
- Cloud Storage Text to Datastore（非推奨）
- Cloud Storage Text to Firestore (Datastore mode)
- Cloud Storage Text to Pub/Sub（Batch）
- Cloud Storage to Elasticsearch
- Datastore to Cloud Storage Text（非推奨）
- Firestore（Datastore mode）to Cloud Storage Text
- Google Ads to BigQuery
- Google Cloud to Neo4j
- JDBC to BigQuery
- JDBC to Pub/Sub
- MongoDB to BigQuery
- MySQL to BigQuery
- Oracle to BigQuery
- PostgreSQL to BigQuery
- SQL Server to BigQuery