Información general sobre DataStream

Datastream es un servicio de replicación y captura de datos de cambios (CDC) sin servidor y fácil de usar que te permite sincronizar datos de forma fiable y con una latencia mínima.

Datastream ofrece una replicación fluida de datos de bases de datos operativas en BigQuery. Además, Datastream admite la escritura del flujo de eventos de cambio en Cloud Storage y ofrece una integración optimizada con las plantillas de Dataflow para crear flujos de trabajo personalizados que permitan cargar datos en una amplia gama de destinos, como Cloud SQL y Spanner. También puedes usar Datastream para aprovechar el flujo de eventos directamente desde Cloud Storage y crear arquitecturas basadas en eventos. Datastream admite fuentes de Oracle, MySQL, SQL Server, PostgreSQL (incluido AlloyDB para PostgreSQL), MongoDB (vista previa) y Salesforce (vista previa).

Estas son algunas de las ventajas de Datastream:

  • Configuración sencilla de las canalizaciones ELT (extraer, cargar y transformar) para la replicación de datos de baja latencia, lo que permite obtener estadísticas casi en tiempo real en BigQuery.
  • Es una plataforma sin servidor, por lo que no hay recursos que aprovisionar ni gestionar. Además, el servicio se escala verticalmente de forma automática, según sea necesario, con un tiempo de inactividad mínimo.
  • Configuración y monitorización fáciles de usar que permiten obtener resultados muy rápidamente.
  • Integración de los mejores servicios de datos para la integración de datos en Datastream, Dataflow, Pub/Sub, BigQuery y más. Google Cloud
  • Sincronizar y unificar flujos de datos de bases de datos y aplicaciones heterogéneas.
  • Seguridad con opciones de conectividad privada y la seguridad que esperas deGoogle Cloud.
  • Ser precisos y fiables, con informes de estado transparentes y una flexibilidad de procesamiento sólida ante los cambios en los datos y los esquemas.
  • Admite varios casos prácticos, como las analíticas, la replicación de bases de datos y la sincronización para migraciones y configuraciones de nube híbrida, así como para crear arquitecturas basadas en eventos.

Casos prácticos

Las funciones de streaming de Datastream permiten una gran variedad de casos prácticos:

  • Replicar y sincronizar datos en toda la organización con una latencia mínima

    Puedes sincronizar datos de bases de datos y aplicaciones heterogéneas de forma fiable, con una latencia baja y con un impacto mínimo en el rendimiento de tu origen. Aprovecha el potencial de los flujos de datos para las analíticas, la replicación de bases de datos, la migración a la nube y las arquitecturas basadas en eventos en entornos híbridos.

  • Escala o reduce verticalmente con una arquitectura sin servidor sin problemas

    Ponte en marcha rápidamente con un servicio fácil de usar y sin servidor que se escala sin problemas a medida que cambian tus volúmenes de datos. Céntrate en obtener estadísticas actualizadas a partir de tus datos y en responder a los problemas de alta prioridad, en lugar de gestionar la infraestructura, ajustar el rendimiento o aprovisionar recursos.

  • Integración con la Google Cloud suite de integración de datos

    Conecta los datos de toda tu organización con la Google Cloud suite de productos de integración de datos. Integra Datastream con plantillas de tareas de Dataflow para leer datos de un segmento de Cloud Storage y cargarlos en varios destinos, como BigQuery, Spanner y Cloud SQL.

Elementos de experiencia

Datastream consta de tres elementos principales:

  • Las configuraciones de conectividad privada permiten que Datastream se comunique con una fuente de datos a través de una red privada (internamente enGoogle Cloudo con fuentes externas conectadas a través de una VPN o Interconnect). Esta comunicación se produce a través de una conexión de emparejamiento de nube privada virtual (VPC).
  • Los perfiles de conexión representan la información de conectividad tanto de un origen como de un destino. Esta información la usará una emisión.
  • Los flujos usan la información de los perfiles de conexión para transferir datos de CDC y de relleno del origen al destino.

Siguientes pasos