O Google fornece modelos de código aberto do Dataflow que podem ser usados no lugar dos códigos de pipeline. Nesta página, listamos os modelos disponíveis.
- Para informações gerais sobre modelos, consulte Visão geral.
- Para começar, execute o modelo WordCount de exemplo.
- Para criar seu próprio modelo, veja as instruções de como estender modelos.
Modelos de streaming
Modelos para processar dados continuamente:
- Apache Kafka para Apache Kafka
- Apache Kafka para BigQuery
- Apache Kafka para Cloud Storage
- Captura de dados alternados do MySQL para o BigQuery (stream)
- Streams de alterações do Bigtable para o BigQuery
- Fluxos de alterações do Bigtable para o Pub/Sub
- Fluxos de alterações do Spanner para o BigQuery
- Fluxos de alterações do Spanner para o Cloud Storage
- fluxo de alterações do Spanner para qualquer banco de dados de origem
- Fluxos de alterações do Spanner para o Pub/Sub
- Datastream para o BigQuery (stream)
- Datastream para o Spanner
- Datastream para MySQL ou PostgreSQL (Stream)
- Tokenização/mascaramento de dados do Cloud Storage para o BigQuery (usando o Cloud DLP)
- JMS para Pub/Sub
- MongoDB para BigQuery (stream)
- MQTT para o Pub/Sub
- Pub/Sub para BigQuery
- Pub/Sub para BigQuery com UDF em Python
- Avro do Pub/Sub para BigQuery
- Buffer de protocolo do Pub/Sub para BigQuery
- Proto do Pub/Sub para BigQuery com UDF em Python
- Assinatura do Pub/Sub para BigQuery
- Pub/Sub para arquivos Avro no Cloud Storage
- Pub/Sub para Datadog
- Pub/Sub para Elasticsearch
- Pub/Sub para Java Database Connectivity (JDBC)
- Pub/Sub para MongoDB
- Pub/Sub para MongoDB com UDF em Python
- Pub/Sub para Pub/Sub
- Pub/Sub para Redis
- Pub/Sub para Splunk
- Tópico do Pub/Sub ou assinatura de arquivos de texto no Cloud Storage
- Tópico do Pub/Sub para arquivos de texto no Cloud Storage
- Arquivos de texto no Cloud Storage para BigQuery (stream)
- Arquivos de texto do Cloud Storage para o BigQuery com UDF em Python
- Arquivos de texto no Cloud Storage para o Pub/Sub (stream)
Modelos de lotes
Modelos para processamento de dados em massa:
- Qualquer DB de origem para o Spanner
- Apache Cassandra para Bigtable
- AstraDB para BigQuery
- BigQuery para Bigtable
- Exportação do BigQuery para Parquet (por meio da API Storage)
- BigQuery para TFRecords do Cloud Storage
- BigQuery para Elasticsearch
- BigQuery para MongoDB
- Bigtable para Cloud Storage Avro
- Bigtable para JSON do Cloud Storage
- Bigtable para Cloud Storage Parquet
- Bigtable para Cloud Storage SequenceFile
- Fluxos de alterações do Bigtable para a Vertex AI Vector Search
- Bigtable para arquivos de pesquisa de vetor da Vertex AI no Cloud Storage
- Spanner para o BigQuery
- Spanner para o Cloud Storage Avro
- Spanner para texto do Cloud Storage
- Spanner para arquivos de pesquisa de vetor da Vertex AI no Cloud Storage
- Cloud Storage Avro para Bigtable
- Cloud Storage Parquet para Bigtable
- Cloud Storage SequenceFile para Bigtable
- Cloud Storage Avro para Spanner
- Arquivos CSV do Cloud Storage para o BigQuery
- Cloud Storage Text para BigQuery
- Arquivos de texto do Cloud Storage para o BigQuery com UDF em Python
- Cloud Storage Text para Spanner
- Cloud Storage Text para Datastore [Descontinuado]
- Cloud Storage Text para Firestore (modo Datastore)
- Cloud Storage Text para Pub/Sub (Lote)
- Cloud Storage para Elasticsearch
- Datastore para Cloud Storage Text[Descontinuado]
- Firestore (modo Datastore) para Cloud Storage Text
- Google Ads para BigQuery
- Google Cloud para Neo4j
- JDBC para BigQuery
- JDBC para Pub/Sub
- MongoDB para BigQuery
- MySQL para BigQuery
- Oracle para BigQuery
- PostgreSQL para BigQuery
- SQL Server para BigQuery