Datastream
这是一项无服务器且易于使用的变更数据捕获和复制服务。
-
访问 MySQL、PostgreSQL、AlloyDB 和 Oracle 数据库中的低延迟流式传输数据
-
借助 Datastream for BigQuery,在 BigQuery 中实现近乎实时的分析
-
通过内置安全连接轻松进行设置,可更快实现价值
-
可自动扩缩的无服务器平台,无需预配或管理任何资源
-
数据库同步和事件驱动型架构的安全基础
优势
以较短的延迟时间复制和同步数据
以可靠方式跨异构数据库、存储系统和应用同步数据,同时将对源性能的影响降至最低。
通过无服务器架构扩容或缩容
借助简单易用的无服务器服务快速启动,该服务可无缝扩缩并且没有基础架构需要管理。
通过 Google Cloud 服务实现前所未有的灵活性
使用 BigQuery、Cloud Spanner、Dataflow 和 Data Fusion 等出色 Google Cloud 服务连接并集成您组织中的数据。
主要特性
Datastream 的独特方法
从关系型数据库流式传输数据
Datastream 从 MySQL、PostgreSQL、AlloyDB 和 Oracle 数据库中读取和传送每个更改(插入、更新和删除),以将数据加载到 BigQuery、Cloud SQL、Cloud Storage 和 Cloud Spanner 中。作为无代理的 Google 原生服务,Datastream 以可靠的方式实时流式传输每个事件。
将不同来源的数据类型标准化
Datastream 会将每个事件的数据类型从源数据库的类型转换为统一的 Datastream 类型。对不同来源的数据类型进行无损标准化后,下游处理无需考虑数据的来源,因此变得十分简单。
架构偏移解析
当源架构变化时,Datastream 可以进行快速无缝的架构偏移解析。Datastream 会在每次架构更改时轮替文件,在目标存储桶中创建新文件。借助具有版本控制的最新版 Schema Registry,只需进行一次 API 调用即可轻松转换原始的源数据类型。
从设计上保证安全
Datastream 支持多种安全的专用连接方法,以保护传输中的数据。此外,数据在传输过程中和静态存储时都会加密,因此在整个流式传输期间都会受到保护,您可以安心无忧。
“随着我们对应用进行现代化改造,我们正在使用 Datastream 可靠地将数据从 Oracle 复制到 Cloud SQL for PostgreSQL 中,最大限度地减少了应用的停机时间。”
MLB 技术经理 Shawn O'Rourke
博客链接文档
查找 Datastream 的资源和文档
Datastream 概览
了解 Datastream 如何帮助您跨异构数据库、存储系统和应用复制和同步数据。
Datastream 快速入门:使用 Cloud Console
了解如何使用 Google Cloud Console 作为可视化界面来开始流式传输数据。
使用 API 配置 Datastream
了解如何使用 API 配置 Datastream 以将数据从源 Oracle 数据库转移到 Cloud Storage。
如何从 Oracle 迁移到 Cloud SQL for PostgreSQL
使用 Google 基于 Datastream 的开源工具包从 Oracle 迁移到 Cloud SQL for PostgreSQL。
使用 Datastream 和 Dataflow 将数据复制到 BigQuery 中
了解如何将 Datastream 与 Dataflow 模板结合使用,以复制关系型数据库中的数据。
如何将数据从 Oracle 数据库复制到 BigQuery
观看此视频,了解如何使用与 Datastream 集成的 Data Fusion 复制加速器实时将数据从 Oracle 复制到 BigQuery。
使用场景
持续捕获数据更改,实时复制每个事件
变更数据捕获通过从源数据库读取更改事件(插入、更新和删除)并将其写入数据目的地来集成数据,以便执行操作。Datastream 支持将 Oracle 和 MySQL 数据库中的数据流更改到 BigQuery、Cloud SQL、Cloud Storage 和 Cloud Spanner 中,从而支持实时分析、数据库复制和其他使用场景。未来还会支持更多来源和目标。
价格
Datastream 价格详情
Datastream 价格根据每月实际数据处理量计算。如需了解更多价格详情,请参阅 Datastream 价格页面。
Cloud Storage、Dataflow 和 BigQuery 等其他资源按相应服务的价格计费。
ORACLE® 是 Oracle Corporation 的注册商标。