Descripción general del flujo de datos

Datastream es un servicio de replicación y captura de datos modificados (CDC) sin servidores y fácil de usar que te permite sincronizar datos de manera confiable y con una latencia mínima.

Ofrece una replicación sin interrupciones de datos de bases de datos operativas en BigQuery. Además, admite la escritura de la transmisión de eventos de cambio en Cloud Storage y ofrece una integración optimizada en plantillas de Dataflow para crear flujos de trabajo personalizados con el objetivo de cargar datos en una amplia variedad de destinos, como Cloud SQL y Spanner. También puedes usar Datastream para aprovechar la transmisión de eventos directamente desde Cloud Storage y crear arquitecturas controladas por eventos. Datastream admite fuentes de Oracle, MySQL, SQL Server, PostgreSQL (incluido AlloyDB para PostgreSQL), MongoDB (versión preliminar) y Salesforce (versión preliminar).

Estos son algunos de los beneficios de Datastream:

  • Configuración fluida de canalizaciones ELT (extracción, carga y transformación) para la replicación de datos de baja latencia, lo que permite obtener estadísticas casi en tiempo real en BigQuery.
  • No tiene servidores, por lo que no hay recursos que aprovisionar o administrar, y el servicio aumenta y disminuye su escala verticalmente de manera automática según sea necesario, con un tiempo de inactividad mínimo.
  • Experiencias de configuración y supervisión fáciles de usar que alcanzan un tiempo de obtención de valor muy rápido.
  • Integración en lo mejor de la cartera de Google Cloud servicios de datos' para la integración de datos en Datastream, Dataflow, Pub/Sub, BigQuery y mucho más.
  • Sincronización y unificación de transmisiones de datos en aplicaciones y bases de datos heterogéneas.
  • Seguridad, con opciones de conectividad privada y la seguridad que esperas deGoogle Cloud.
  • Es preciso y confiable, con informes de estado transparentes y una flexibilidad de procesamiento rigurosa ante los cambios en los datos y esquemas.
  • Compatibilidad con varios casos de uso, incluidos el análisis, la replicación de bases de datos y la sincronización para migraciones y configuraciones de nube híbrida, y para la compilación de arquitecturas controladas por eventos.

Casos de uso

Las capacidades de transmisión de Datastream habilitan una variedad de casos de uso:

  • Replica y sincroniza datos en toda tu organización con una latencia mínima

    Puedes sincronizar datos en aplicaciones y bases de datos heterogéneas de manera confiable, con baja latencia y con un impacto mínimo en el rendimiento de la fuente. Libera el poder de las transmisiones de datos para las estadísticas, la replicación de bases de datos, la migración a la nube y las arquitecturas controladas por eventos en entornos híbridos.

  • Aumenta o reduce la escala verticalmente sin interrupciones con una arquitectura sin servidores

    Ponte en marcha rápidamente con un servicio sin servidores y fácil de usar que se adapta sin problemas a medida que cambian tus volúmenes de datos. Enfócate en obtener estadísticas actualizadas a partir de tus datos y responder a los problemas de alta prioridad, en lugar de administrar la infraestructura, ajustar el rendimiento o aprovisionar recursos.

  • Integración con el Google Cloud paquete de integración de datos

    Conecta los datos de tu organización con el Google Cloud paquete de productos de integración de datos. Integra Datastream con plantillas de trabajos de Dataflow para leer datos de un bucket de Cloud Storage y cargarlos en una variedad de destinos, como BigQuery, Spanner y Cloud SQL.

Elementos de experiencia

Datastream tiene tres elementos principales:

  • Las configuraciones de conectividad privada permiten que Datastream se comunique con una fuente de datos a través de una red privada (de forma interna dentro deGoogle Cloudo con fuentes externas conectadas a través de VPN o Interconnect). Esta comunicación se realiza a través de una conexión de intercambio de tráfico de la nube privada virtual (VPC).
  • Los perfiles de conexión representan la información de conectividad tanto para una fuente como para un destino. Un flujo usará esta información.
  • Las transmisiones usan la información en los perfiles de conexión para transferir datos de CDC y reabastecimiento de la fuente al destino.

¿Qué sigue?