Datastream 概览

概览

Datastream 是一项易于使用的无服务器变更数据捕获 (CDC) 和复制服务,可让您可靠地同步数据,同时将延迟时间缩至最短。

Datastream 可将数据从运营数据库无缝复制到 BigQuery。此外,Datastream 还支持将变更事件流写入 Cloud Storage,并提供与 Dataflow 模板的简化集成,以构建用于将数据加载到各种目标位置(例如 Cloud SQL 和 Spanner)的自定义工作流。您还可以使用 Datastream 直接利用 Cloud Storage 中的事件流来实现事件驱动型架构。Datastream 支持 Oracle、MySQL、SQL Server 和 PostgreSQL(包括 AlloyDB for PostgreSQL)源。

Datastream 的优势包括:

  • 无缝设置 ELT(提取、加载和转换)流水线,实现低延迟数据复制,以便在 BigQuery 中实现近乎实时的数据分析。
  • 采用无服务器模式,无需预配或管理资源,并且服务会根据需要自动扩容和缩容,停机时间极短。
  • 易于使用的设置和监控体验,超快时间实现价值。
  • 集成了 Google Cloud 数据服务的精华用于跨 Datastream、Dataflow、Pub/Sub、BigQuery 等进行数据集成的产品组合。
  • 跨异构数据库和应用同步和统一数据流。
  • 确保安全,具有专用连接选项以及您希望 Google Cloud 提供的安全性。
  • 准确可靠,同时提供公开透明的状态报告,而且在数据和架构变化时具有强大的灵活处理能力。
  • 支持多种使用场景,包括用于迁移和混合云配置的分析、数据库复制和同步,并支持构建事件驱动型架构。

使用场景

Datastream 的流式传输功能可实现各种使用场景:

  • 以最低延迟时间复制和同步整个组织中的数据

    您可以可靠地跨异构数据库和应用同步数据,同时确保延迟时间短,对来源性能的影响最小。解锁数据流跨混合环境进行分析、数据库复制、云迁移和事件驱动型架构的能力。

  • 通过无服务器架构无缝扩容或缩容

    借助易于使用的无服务器服务快速启动并运行,随着数据量的变化而无缝扩缩。专注于从数据中获取最新的数据洞见并响应高优先级问题,而不是基础架构管理、性能微调或资源预配。

  • 与 Google Cloud 的数据集成套件集成

    利用 Google Cloud 的产品数据集成套件,关联整个组织的数据。Datastream 利用 Dataflow 模板将数据加载到 BigQuery、Spanner 和 Cloud SQL 中。

体验元素

Datastream 包含 3 个主要元素:

  • 借助专用连接配置,Datastream 可以通过专用网络(在 Google Cloud 内部或与通过 VPN 或 Interconnect 连接的外部来源)与数据源进行通信。此通信通过 Virtual Private Cloud (VPC) 对等互连连接进行。
  • 连接配置文件表示与来源和目标位置的连接信息。此信息将由数据流使用。
  • 数据流使用连接配置文件中的信息将 CDC 和回填数据从来源转移到目标位置。

后续步骤