A Google fornece modelos do Dataflow de código aberto que pode usar em vez de escrever código de pipeline. Esta página
apresenta os modelos disponíveis. As imagens de contentores para estes modelos estão alojadas em
gcr.io/dataflow-templates
.
- Para ver informações gerais sobre os modelos, consulte a vista geral.
- Para começar, execute o modelo de exemplo WordCount.
- Para criar o seu próprio modelo, veja como estender modelos.
Modelos de streaming
Modelos para processar dados continuamente:
- Apache Kafka para Apache Kafka
- Apache Kafka para o BigQuery
- Apache Kafka para o Cloud Storage
- Captura de dados de alterações do MySQL para o BigQuery (stream)
- Streams de alterações do Bigtable para o BigQuery
- Streams de alterações do Bigtable para o Pub/Sub
- Streams de alterações do Spanner para o BigQuery
- Streams de alterações do Spanner para o Cloud Storage
- Streams de alterações do Spanner para qualquer base de dados de origem
- Streams de alterações do Spanner para o Pub/Sub
- Datastream para o BigQuery (stream)
- Stream de dados para o Spanner
- Datastream para MySQL ou PostgreSQL (stream)
- Máscara de dados/tokenização do Cloud Storage para o BigQuery (através do Cloud DLP)
- JMS para Pub/Sub
- MongoDB para BigQuery (stream)
- MQTT para Pub/Sub
- Pub/Sub para o BigQuery
- Pub/Sub para o BigQuery com UDF do Python
- Pub/Sub Avro para o BigQuery
- Pub/Sub Proto para o BigQuery
- Pub/Sub Proto para BigQuery com UDF Python
- Subscrição do Pub/Sub para o BigQuery
- Pub/Sub para ficheiros Avro no Cloud Storage
- Pub/Sub para Datadog
- Pub/Sub para Elasticsearch
- Pub/Sub para Java Database Connectivity (JDBC)
- Pub/Sub para MongoDB
- Pub/Sub para MongoDB com UDF Python
- Pub/Sub para Pub/Sub
- Pub/Sub para Redis
- Pub/Sub para Splunk
- Tópico ou subscrição do Pub/Sub para ficheiros de texto no Cloud Storage
- Tópico do Pub/Sub para ficheiros de texto no Cloud Storage
- Ficheiros de texto no Cloud Storage para o BigQuery (stream)
- Ficheiros de texto do Cloud Storage para o BigQuery com UDFs do Python
- Ficheiros de texto no Cloud Storage para o Pub/Sub (stream)
Modelos de lotes
Modelos para processar dados em massa:
- Qualquer base de dados de origem para o Spanner
- Apache Cassandra para o Bigtable
- AstraDB para o BigQuery
- BigQuery para Bigtable
- BigQuery para Clickhouse
- BigQuery Export para Parquet (através da API Storage)
- BigQuery para TFRecords do Cloud Storage
- BigQuery para o Elasticsearch
- BigQuery para MongoDB
- Bigtable para Cloud Storage Avro
- Bigtable para JSON do Cloud Storage
- Bigtable para Cloud Storage Parquet
- Bigtable para SequenceFile do Cloud Storage
- Streams de alterações do Bigtable para o Vertex AI Vector Search
- Bigtable para ficheiros do Vertex AI Vector Search no Cloud Storage
- Spanner para BigQuery
- Spanner para Cloud Storage Avro
- Spanner para texto do Cloud Storage
- Spanner para ficheiros do Vertex AI Vector Search no Cloud Storage
- Cloud Storage Avro para Bigtable
- Cloud Storage Parquet para Bigtable
- Cloud Storage SequenceFile para o Bigtable
- Cloud Storage Avro para Spanner
- Ficheiros CSV do Cloud Storage para o BigQuery
- Texto do Cloud Storage para o BigQuery
- Ficheiros de texto do Cloud Storage para o BigQuery com UDFs do Python
- Cloud Storage Text to Spanner
- Cloud Storage Text to Datastore [Descontinuado]
- Texto do Cloud Storage para o Firestore (modo Datastore)
- Cloud Storage Text to Pub/Sub (em lote)
- Cloud Storage para o Elasticsearch
- Datastore para texto do Cloud Storage [Obsoleto]
- Firestore (modo Datastore) para texto do Cloud Storage
- Google Ads para o BigQuery
- Google Cloud para Neo4j
- JDBC para o BigQuery
- JDBC para Pub/Sub
- MongoDB para o BigQuery
- MySQL para o BigQuery
- Oracle para o BigQuery
- PostgreSQL para BigQuery
- SQL Server para o BigQuery