Google bietet Open-Source-Vorlagen für Dataflow, die Sie verwenden können, anstatt Pipelinecode zu schreiben. Auf dieser Seite sind die verfügbaren Vorlagen aufgeführt.
- Allgemeine Informationen zu Vorlagen finden Sie unter Übersicht.
- Führen Sie zum Einstieg die Beispielvorlage WordCount aus.
- Wie Sie eine eigene Vorlage erstellen, erfahren Sie unter Vorlagen erweitern.
Streamingvorlagen
Vorlagen für die kontinuierliche Verarbeitung von Daten:
- Apache Kafka zu Apache Kafka
- Apache Kafka für BigQuery
- Apache Kafka zu Cloud Storage
- Change Data Capture von MySQL zu BigQuery (Stream)
- Bigtable-Änderungsstreams zu BigQuery
- Bigtable-Änderungsstreams zu Pub/Sub
- Spanner-Änderungsstreams zu BigQuery
- Spanner-Änderungsstreams zu Cloud Storage
- Spanner-Änderungsstreams zu Pub/Sub
- Datastream zu BigQuery (Stream)
- Datastream zu Spanner
- Datastream zu MySQL oder PostgreSQL (Stream)
- Datenmaskierung/Tokenisierung aus Cloud Storage für BigQuery (mit Cloud DLP)
- JMS für Pub/Sub
- MongoDB für BigQuery (CDC)
- MQTT für Pub/Sub
- Pub/Sub zu BigQuery
- Pub/Sub für BigQuery mit Python-UDF
- Pub/Sub Avro für BigQuery
- Pub/Sub Proto für BigQuery
- Pub/Sub Proto für BigQuery mit Python UDF
- Pub/Sub-Abo für BigQuery
- Pub/Sub für Avro-Dateien in Cloud Storage
- Pub/Sub für Datadog
- Pub/Sub für Elasticsearch
- Pub/Sub für Java Database Connectivity (JDBC)
- Pub/Sub für MongoDB
- Pub/Sub für MongoDB mit Python-UDF
- Pub/Sub zu Pub/Sub
- Pub/Sub zu Redis
- Pub/Sub zu Splunk
- Pub/Sub-Thema oder -Abo für Textdateien in Cloud Storage
- Pub/Sub-Thema für Textdateien in Cloud Storage
- Textdateien in Cloud Storage für BigQuery (Stream)
- Cloud Storage-Textdateien für BigQuery mit Python-UDF
- Textdateien in Cloud Storage für Pub/Sub (Stream)
Batchvorlagen
Vorlagen für die Bulk-Verarbeitung von Daten:
- Beliebige Quelldatenbank zu Spanner
- Apache Cassandra für Bigtable
- AstraDB für BigQuery
- BigQuery für Bigtable
- BigQuery-Export nach Parquet (über Storage API)
- BigQuery für Cloud Storage TFRecords
- BigQuery für Elasticsearch
- BigQuery für MongoDB
- Bigtable für Cloud Storage Avro
- Bigtable für Cloud Storage JSON
- Bigtable für Cloud Storage Parquet
- Bigtable für Cloud Storage SequenceFile
- Bigtable-Änderungsstreams zur Vertex AI Vektorsuche
- Dateien für die Vektorsuche von Bigtable für Vertex AI in Cloud Storage
- Spanner für BigQuery
- Spanner für Cloud Storage Avro
- Spanner für Cloud Storage Text
- Dateien für die Vektorsuche von Spanner zu Vertex AI in Cloud Storage
- Cloud Storage Avro für Bigtable
- Cloud Storage Parquet für Cloud Bigtable
- Cloud Storage SequenceFile für Bigtable
- Cloud Storage Avro für Spanner
- Cloud Storage-CSV-Dateien für BigQuery
- Cloud Storage Text für BigQuery
- Cloud Storage-Textdateien für BigQuery mit Python-UDF
- Cloud Storage Text für Spanner
- Cloud Storage Text für Datastore [verworfen]
- Cloud Storage Text für Firestore (Datastore-Modus)
- Cloud Storage Text für Pub/Sub (Batch)
- Cloud Storage für Elasticsearch
- Datastore für Cloud Storage Text [verworfen]
- Firestore (Datastore-Modus) für Cloud Storage Text
- Google Ads zu BigQuery
- Google Cloud zu Neo4j
- JDBC für BigQuery
- JDBC für Pub/Sub
- MongoDB für BigQuery
- MySQL für BigQuery
- Oracle zu BigQuery
- PostgreSQL für BigQuery
- SQL Server für BigQuery