直接从关系型数据库无缝复制到 BigQuery,可实现近乎实时的运营数据分析。
优势
将数据从 MySQL、PostgreSQL、AlloyDB、SQL Server 和 Oracle 数据库直接无缝复制到 BigQuery,延迟时间短,并且不影响源性能。
通过可自动扩缩的无服务器方法消除运维开销,您无需管理基础架构。
简化的设置体验使您只需几个步骤即可开始将数据从您的运营数据库复制到 BigQuery。
主要特性
Datastream 使用 BigQuery 的变更数据捕获 (CDC) 功能和 Storage Write API 近乎实时地直接从源系统中高效复制更新。您不再需要将宝贵资源浪费在复杂的数据流水线、自行管理的暂存表、复杂的合并逻辑或手动数据类型转换上的复制解决方案。
使用 Datastream,您只需几个步骤即可开始将数据复制到 BigQuery 中。只需在 BigQuery 中配置源数据库、连接类型和目标位置,就大功告成了。Datastream for BigQuery 将回填历史数据,并在出现新更改时持续复制。
DataStream 从 MySQL、PostgreSQL、AlloyDB、SQL Server 和 Oracle 数据库读取每个更改(插入、更新和删除)并传送到 BigQuery 中,延迟时间极短。源数据库可以托管在本地、Google Cloud 服务(如 Cloud SQL 或 Oracle 裸金属解决方案)中或任何云环境中的任何其他位置。它是一种无代理的 Google 原生服务,专为 BigQuery 构建,能够可靠地流式传输每个发生的事件。
当源架构发生变化时,Datastream 会无缝处理架构偏移,并自动将源中添加的新列和表复制到 BigQuery。
Datastream 支持多种安全的专用连接方法,以保护传输中的数据。静态数据也会加密。
客户
使用场景
DataStream 从源数据库中读取更改事件(插入、更新和删除),并近乎实时地将它们写入 BigQuery 表中。这样,您就可以使用交易数据(例如零售购买)来丰富现有的 BigQuery 数据仓库和机器学习模型,从而构建更完整的端到端数据图像。Datastream 会回填历史数据,在出现新更改时持续复制,并无缝处理架构更改。
主要优势
将运营数据复制到 BigQuery 的较简单方法
可自动伸缩的无服务器架构
可实现端到端可见性和复制流水线监控的单一界面
可自定义的解决方案,更加灵活
Google 支持的适用于一系列目标的预构建模板
集成数据质量和数据遮盖等其他功能
面向 ETL 开发者和数据分析师的简单界面
提前发现复制中的潜在的问题和缺陷
可近乎实时地了解复制性能
主要优势
将运营数据复制到 BigQuery 的较简单方法
可自动伸缩的无服务器架构
可实现端到端可见性和复制流水线监控的单一界面
主要优势
可自定义的解决方案,更加灵活
Google 支持的适用于一系列目标的预构建模板
集成数据质量和数据遮盖等其他功能
主要优势
面向 ETL 开发者和数据分析师的简单界面
提前发现复制中的潜在的问题和缺陷
可近乎实时地了解复制性能
价格
Datastream 价格基于处理的实际数据。如果您要迁移的数据量较大,还可选择价更实惠的基于卷的分层价格方案。如需了解更多价格详情,请参阅 Datastream 价格页面。
其他资源(例如 BigQuery、Cloud Storage 和 Dataflow)按具体服务的价格收费。