跳转到
Datastream for BigQuery

Datastream for BigQuery

直接从关系型数据库无缝复制到 BigQuery,可实现近乎实时的运营数据分析。

  • 低延迟复制,可在 BigQuery 中实现近乎实时的数据分析

  • 访问 MySQL、PostgreSQL、AlloyDB、SQL Server 和 Oracle 数据库中的流式数据

  • 可自动扩缩的无服务器平台,无需预配或管理任何资源

  • 通过内置安全连接轻松设置 ELT(提取、加载、转换)流水线

  • 数千位客户利用其将运营数据复制到 BigQuery

优势

以尽可能短的延迟时间复制运营数据

将数据从 MySQL、PostgreSQL、AlloyDB、SQL Server 和 Oracle 数据库直接无缝复制到 BigQuery,延迟时间短,并且不影响源性能。

通过无服务器架构扩容和缩容

通过可自动扩缩的无服务器方法消除运维开销,您无需管理基础架构。

在几分钟内快速启动并运行

简化的设置体验使您只需几个步骤即可开始将数据从您的运营数据库复制到 BigQuery。

主要特性

主要特性

将运营数据复制到 BigQuery

Datastream 使用 BigQuery 的变更数据捕获 (CDC) 功能和 Storage Write API 近乎实时地直接从源系统中高效复制更新。您不再需要将宝贵资源浪费在复杂的数据流水线、自行管理的暂存表、复杂的合并逻辑或手动数据类型转换上的复制解决方案。

设置简单

使用 Datastream,您只需几个步骤即可开始将数据复制到 BigQuery 中。只需在 BigQuery 中配置源数据库、连接类型和目标位置,就大功告成了。Datastream for BigQuery 将回填历史数据,并在出现新更改时持续复制。

从关系型数据库流式传输数据

DataStream 从 MySQL、PostgreSQL、AlloyDB、SQL Server 和 Oracle 数据库读取每个更改(插入、更新和删除)并传送到 BigQuery 中,延迟时间极短。源数据库可以托管在本地、Google Cloud 服务(如 Cloud SQLOracle 裸金属解决方案)中或任何云环境中的任何其他位置。它是一种无代理的 Google 原生服务,专为 BigQuery 构建,能够可靠地流式传输每个发生的事件。

架构偏移解析

当源架构发生变化时,Datastream 会无缝处理架构偏移,并自动将源中添加的新列和表复制到 BigQuery。

从设计上保证安全

Datastream 支持多种安全的专用连接方法,以保护传输中的数据。静态数据也会加密。

Falabella 徽标
借助 Datastream,我们只需通过这一款工具就能将运营数据无缝、近乎实时地复制到 BigQuery 中。Datastream 帮助我们以更快的速度对运营数据进行分析,提供更稳定的数据产品,并更好地满足我们的业务需求。

René Delgado,Falabella 数据解决方案主管

博客链接

使用场景

使用场景

使用场景
无服务器的 BigQuery 复制

DataStream 从源数据库中读取更改事件(插入、更新和删除),并近乎实时地将它们写入 BigQuery 表中。这样,您就可以使用交易数据(例如零售购买)来丰富现有的 BigQuery 数据仓库和机器学习模型,从而构建更完整的端到端数据图像。Datastream 会回填历史数据,在出现新更改时持续复制,并无缝处理架构更改。

无服务器的 BigQuery 复制
特性对比

比较将数据从运营数据库流式插入 BigQuery 的不同方案

Datastream for BigQuery

用于将事务数据库中的数据复制到 BigQuery 的全代管式解决方案

Datastream 和 Dataflow

用于复制数据源更改的可自定义解决方案

Datastream 和 Data Fusion

全代管式 ETL 服务中的无代码向导

主要优势

  • 将运营数据复制到 BigQuery 的较简单方法

  • 可自动伸缩的无服务器架构

  • 可实现端到端可见性和复制流水线监控的单一界面

  • 可自定义的解决方案,更加灵活

  • Google 支持的适用于一系列目标的预构建模板

  • 集成数据质量和数据遮盖等其他功能

  • 面向 ETL 开发者和数据分析师的简单界面

  • 提前发现复制中的潜在的问题和缺陷

  • 可近乎实时地了解复制性能

用于将事务数据库中的数据复制到 BigQuery 的全代管式解决方案

主要优势

  • 将运营数据复制到 BigQuery 的较简单方法

  • 可自动伸缩的无服务器架构

  • 可实现端到端可见性和复制流水线监控的单一界面

用于复制数据源更改的可自定义解决方案

主要优势

  • 可自定义的解决方案,更加灵活

  • Google 支持的适用于一系列目标的预构建模板

  • 集成数据质量和数据遮盖等其他功能

全代管式 ETL 服务中的无代码向导

主要优势

  • 面向 ETL 开发者和数据分析师的简单界面

  • 提前发现复制中的潜在的问题和缺陷

  • 可近乎实时地了解复制性能

您还可以使用合作伙伴 ETL/ELT 解决方案、Kafka 或批量作业将数据从运营数据库流式插入 BigQuery。与这些选项相比,Datastream 通常具有无服务器架构、易于集成和低延迟的优势。

价格

Datastream 价格

Datastream 价格基于处理的实际数据。如果您要迁移的数据量较大,还可选择价更实惠的基于卷的分层价格方案。如需了解更多价格详情,请参阅 Datastream 价格页面。

其他资源(例如 BigQuery、Cloud Storage 和 Dataflow)按具体服务的价格收费。

更进一步

获享 $300 赠金以及 20 多种提供“始终免费”用量的产品,开始在 Google Cloud 上构建项目。

Google Cloud
  • ‪English‬
  • ‪Deutsch‬
  • ‪Español‬
  • ‪Español (Latinoamérica)‬
  • ‪Français‬
  • ‪Indonesia‬
  • ‪Italiano‬
  • ‪Português (Brasil)‬
  • ‪简体中文‬
  • ‪繁體中文‬
  • ‪日本語‬
  • ‪한국어‬
控制台