Google fornisce modelli Dataflow open source che puoi utilizzare al posto del codice della pipeline. Questa pagina elenca i modelli disponibili.
- Per informazioni generali sui modelli, consulta la Panoramica.
- Per iniziare, esegui il modello di esempio WordCount.
- Per creare il tuo modello, scopri come estendere i modelli.
Modelli di streaming
Modelli per l'elaborazione continua dei dati:
- Da Apache Kafka ad Apache Kafka
- Da Apache Kafka a BigQuery
- Da Apache Kafka a Cloud Storage
- Modifica dell'acquisizione dei dati da MySQL a BigQuery (flusso)
- Modifiche in tempo reale di Bigtable a BigQuery
- modifiche in tempo reale di Bigtable per Pub/Sub
- Modifiche in tempo reale di Spanner a BigQuery
- Modifiche in tempo reale di Spanner a Cloud Storage
- modifiche in tempo reale di Spanner verso Pub/Sub
- Da Datastream a BigQuery (flusso)
- Da Datastream a Spanner
- Da Datastream a MySQL o PostgreSQL (flusso)
- Mascheramento dei dati/tokenizzazione da Cloud Storage a BigQuery (con Cloud DLP)
- Da JMS a Pub/Sub
- Da MongoDB a BigQuery (CDC)
- da MQTT a Pub/Sub
- Da Pub/Sub a BigQuery
- Da Pub/Sub a BigQuery con la funzione definita dall'utente per Python
- Da Pub/Sub Avro a BigQuery
- Protocollo Pub/Sub a BigQuery
- Protocollo Pub/Sub a BigQuery con la funzione definita dall'utente per Python
- Sottoscrizione Pub/Sub a BigQuery
- File da Pub/Sub ad Avro in Cloud Storage
- Da Pub/Sub a Datadog
- Da Pub/Sub a Elasticsearch
- Da Pub/Sub a Java Database Connectivity (JDBC)
- Da Pub/Sub a MongoDB
- Da Pub/Sub a MongoDB con la funzione definita dall'utente Python
- Da Pub/Sub a Pub/Sub
- Da Pub/Sub a Redis
- Da Pub/Sub a Splunk
- Argomento Pub/Sub o sottoscrizione a file di testo su Cloud Storage
- Argomento Pub/Sub a file di testo su Cloud Storage
- File di testo da Cloud Storage a BigQuery (flusso)
- File di testo di Cloud Storage in BigQuery con la funzione definita dall'utente Python
- File di testo su Cloud Storage in Pub/Sub (flusso)
Modelli batch
Modelli per l'elaborazione collettiva dei dati:
- Da Apache Cassandra a Bigtable
- Da AstraDB a BigQuery
- Da BigQuery a Bigtable
- Esportazione di BigQuery in Parquet (tramite l'API Storage)
- TFRecord da BigQuery ai record Cloud Storage
- Da BigQuery a Elasticsearch
- Da BigQuery a MongoDB
- Da Bigtable a Cloud Storage Avro
- Da Bigtable a JSON di Cloud Storage
- Da Bigtable a Cloud Storage Parquet
- Da Bigtable a Cloud Storage SequenceFile
- Flussi di modifiche in tempo reale su Vertex AI Vector Search
- Da Bigtable ai file di ricerca vettoriale di Vertex AI su Cloud Storage
- Da Spanner a BigQuery
- Da Spanner ad Avro Cloud Storage
- Da Spanner a testo Cloud Storage
- File da Spanner a Vertex AI Vector Search su Cloud Storage
- Da Cloud Storage a Bigtable
- Da Cloud Storage a Bigtable
- Da Cloud Storage a Bigtable
- Da Cloud Storage a Spanner
- File CSV di Cloud Storage in BigQuery
- Testo di Cloud Storage in BigQuery
- File di testo di Cloud Storage in BigQuery con la funzione definita dall'utente Python
- Testo di Cloud Storage in Spanner
- Testo Cloud Storage in Datastore [deprecato]
- Da testo Cloud Storage a Firestore (modalità Datastore)
- Testo Cloud Storage in Pub/Sub (batch)
- Da Cloud Storage a Elasticsearch
- Testo da datastore a Cloud Storage [deprecato]
- Testo da Firestore (modalità Datastore) a Cloud Storage
- Da Google Ads a BigQuery
- Da Google Cloud a Neo4j
- Da JDBC a BigQuery
- Da JDBC a Pub/Sub
- Da MongoDB a BigQuery
- Da MySQL a BigQuery
- Da Oracle a BigQuery
- Da PostgreSQL a BigQuery
- Da SQL Server a BigQuery
Modelli di utilità
- Comprimi in blocco i file di Cloud Storage
- Decompressione in blocco dei file di Cloud Storage
- Eliminazione collettiva Datastore [Deprecata]
- Conversione del formato file
- Eliminazione collettiva Firestore (modalità Datastore)
- Flusso di dati di un generatore di dati in Pub/Sub, BigQuery e Cloud Storage