Plantillas proporcionadas por Google

Google proporciona plantillas de Dataflow de código abierto que puedes usar en lugar de escribir código de flujo de procesamiento. En esta página se enumeran las plantillas disponibles. Las imágenes de contenedor de estas plantillas se alojan en gcr.io/dataflow-templates.

• Para obtener información general sobre las plantillas, consulta la introducción.
• Para empezar, ejecuta la plantilla de ejemplo WordCount.
• Para crear tu propia plantilla, consulta cómo ampliar plantillas.

Plantillas de emisión

Plantillas para procesar datos de forma continua:

• Apache Kafka a Apache Kafka
• De Apache Kafka a BigQuery
• Apache Kafka a Cloud Storage
• Captura de datos modificados de MySQL a BigQuery (streaming)
• Streams de cambios de Bigtable a BigQuery
• Flujos de cambios de Bigtable a Pub/Sub
• Streams de cambios de Spanner a BigQuery
• Cambios en tiempo real de Spanner a Cloud Storage
• Cambios de Spanner a cualquier base de datos de origen
• Flujos de cambios de Spanner a Pub/Sub
• Datastream a BigQuery (Stream)
• Datastream a Spanner
• Datastream a MySQL o PostgreSQL (Stream)
• Tokenizar o enmascarar datos desde Cloud Storage a BigQuery (con Cloud DLP)
• JMS a Pub/Sub
• MongoDB a BigQuery (streaming)
• MQTT a Pub/Sub
• Pub/Sub a BigQuery
• Pub/Sub a BigQuery con una función definida por el usuario de Python
• Pub/Sub Avro a BigQuery
• Pub/Sub Proto a BigQuery
• Pub/Sub Proto a BigQuery con UDF de Python
• Suscripción de Pub/Sub a BigQuery
• Pub/Sub a archivos Avro en Cloud Storage
• Pub/Sub a Datadog
• Pub/Sub a Elasticsearch
• Pub/Sub a Java Database Connectivity (JDBC)
• Pub/Sub a MongoDB
• Pub/Sub a MongoDB con UDF de Python
• Pub/Sub a Pub/Sub
• Pub/Sub a Redis
• Pub/Sub a Splunk
• Tema o suscripción de Pub/Sub a archivos de texto en Cloud Storage
• De temas de Pub/Sub a archivos de texto en Cloud Storage
• Archivos de texto de Cloud Storage a BigQuery (streaming)
• De archivos de texto de Cloud Storage a BigQuery con una función definida por el usuario de Python
• Archivos de texto de Cloud Storage a Pub/Sub (streaming)

Plantillas de lotes

Plantillas para procesar datos en bloque:

• Cualquier base de datos de origen a Spanner
• Apache Cassandra a Bigtable
• AstraDB a BigQuery
• BigQuery a Bigtable
• BigQuery a Clickhouse
• Exportación de BigQuery a Parquet (a través de la API Storage)
• De BigQuery a TFRecords de Cloud Storage
• BigQuery a Elasticsearch
• BigQuery a MongoDB
• Bigtable a Avro de Cloud Storage
• Bigtable a JSON de Cloud Storage
• Bigtable a Parquet de Cloud Storage
• Bigtable a SequenceFile de Cloud Storage
• Secuencias de cambios de Bigtable a Vertex AI Vector Search
• Archivos de Bigtable a Vertex AI Vector Search en Cloud Storage
• Spanner a BigQuery
• Spanner a Avro de Cloud Storage
• Spanner a texto de Cloud Storage
• Archivos de Spanner a Vertex AI Vector Search en Cloud Storage
• Avro de Cloud Storage a Bigtable
• Cloud Storage Parquet a Bigtable
• Archivos SequenceFile de Cloud Storage a Bigtable
• Cloud Storage Avro a Spanner
• Archivos CSV de Cloud Storage a BigQuery
• De archivos de texto de Cloud Storage a BigQuery
• De archivos de texto de Cloud Storage a BigQuery con una función definida por el usuario de Python
• Cloud Storage Text to Spanner
• Texto de Cloud Storage a Datastore [Obsoleto]
• Escribir archivos de texto de Cloud Storage en Firestore (modo Datastore)
• Texto de Cloud Storage a Pub/Sub (por lotes)
• Cloud Storage a Elasticsearch
• Datastore a texto de Cloud Storage [Obsoleto]
• Firestore (modo Datastore) a texto de Cloud Storage
• Google Ads a BigQuery
• Google Cloud a Neo4j
• JDBC a BigQuery
• JDBC a Pub/Sub
• MongoDB a BigQuery
• MySQL a BigQuery
• Oracle a BigQuery
• PostgreSQL a BigQuery
• SQL Server a BigQuery

Plantillas de utilidad

• Comprimir archivos de Cloud Storage en bloque
• Descomprimir archivos de Cloud Storage por lotes
• Eliminación en bloque de Datastore [Obsoleto]
• Conversión de formatos de archivo
• Eliminación por lotes de Firestore (modo Datastore)
• Generador de datos de streaming a Pub/Sub, BigQuery y Cloud Storage