Datastream 的 PostgreSQL 来源和 BigQuery 目标位置已正式发布。 阅读博客
跳转到
Datastream

Datastream

这是一项无服务器且易于使用的变更数据捕获和复制服务。

  • 访问 MySQL、PostgreSQL、AlloyDB 和 Oracle 数据库中的低延迟流式传输数据

  • 借助 Datastream for BigQuery,在 BigQuery 中实现近乎实时的分析

  • 通过内置安全连接轻松进行设置,可更快实现价值

  • 可自动扩缩的无服务器平台,无需预配或管理任何资源

  • 数据库同步和事件驱动型架构的安全基础

优势

以较短的延迟时间复制和同步数据

以可靠方式跨异构数据库、存储系统和应用同步数据,同时将对源性能的影响降至最低。

通过无服务器架构扩容或缩容

借助简单易用的无服务器服务快速启动,该服务可无缝扩缩并且没有基础架构需要管理。

通过 Google Cloud 服务实现前所未有的灵活性

使用 BigQuerySpannerDataflowData Fusion 等出色 Google Cloud 服务连接并集成您组织中的数据。

主要特性

Datastream 的独特方法

从关系型数据库流式传输数据

Datastream 从 MySQL、PostgreSQL、AlloyDB 和 Oracle 数据库中读取和传送每个更改(插入、更新和删除),以将数据加载到 BigQueryCloud SQLCloud StorageSpanner 中。作为无代理的 Google 原生服务,Datastream 以可靠的方式实时流式传输每个事件。Datastream 每月处理超过五千亿个事件。

将不同来源的数据类型标准化

Datastream 会将每个事件的数据类型从源数据库的类型转换为统一的 Datastream 类型。对不同来源的数据类型进行无损标准化后,下游处理无需考虑数据的来源,因此变得十分简单。

架构偏移解析

当源架构变化时,Datastream 可以进行快速无缝的架构偏移解析。Datastream 会在每次架构更改时轮替文件,在目标存储桶中创建新文件。借助具有版本控制的最新版 Schema Registry,只需进行一次 API 调用即可轻松转换原始的源数据类型。

原生安全

Datastream 支持多种安全的专用连接方法,以保护传输中的数据。此外,数据在传输过程中和静态存储时都会加密,因此在整个流式传输期间都会受到保护,您可以安心无忧。

Just Eat Takeaway 徽标
Datastream 帮助我们实现了从各种运营数据源到 BigQuery 的高质量且协调一致的数据复制。这项无服务器服务易于使用且扩缩能力极强,让我们能够在短时间内建立第一批数据流。速度对我们至关重要,因为数据注入是我们数据平台迁移的基础。

Oleksandr Kaleniuk,Just Eat Takeaway 数据注入主管

文档

查找 Datastream 的资源和文档

Google Cloud 基础知识

Datastream 概览

了解 Datastream 如何帮助您跨异构数据库、存储系统和应用复制和同步数据。
快速入门

Datastream 快速入门:使用 Cloud Console

了解如何使用 Google Cloud Console 作为可视化界面来开始流式传输数据。
教程

使用 API 配置 Datastream

了解如何使用 API 配置 Datastream 以将数据从源 Oracle 数据库转移到 Cloud Storage。
Google Cloud 基础知识

如何从 Oracle 迁移到 Cloud SQL for PostgreSQL

使用 Google 基于 Datastream 的开源工具包从 Oracle 迁移到 Cloud SQL for PostgreSQL
教程

使用 Datastream 和 Dataflow 将数据复制到 BigQuery 中

了解如何将 Datastream 与 Dataflow 模板结合使用,以复制关系型数据库中的数据。
教程

如何将数据从 Oracle 数据库复制到 BigQuery

观看此视频,了解如何使用与 Datastream 集成的 Data Fusion 复制加速器实时将数据从 Oracle 复制到 BigQuery。

没有看到您需要的内容?

使用场景

持续捕获数据更改,实时复制每个事件

使用场景
实时且随时发生的更改流

变更数据捕获通过从源数据库读取更改事件(插入、更新和删除)并将其写入数据目的地来集成数据,以便执行操作。Datastream 支持将变更数据流从 Oracle 和 MySQL 数据库传送到 BigQuery、Cloud SQL、Cloud Storage 和 Spanner 中,从而支持实时分析、数据库复制和其他使用场景。未来还会支持更多来源和目标。

Datastream 图

价格

Datastream 价格详情

Datastream 价格根据每月实际数据处理量计算。如需了解更多价格详情,请参阅 Datastream 价格页面。

Cloud Storage、Dataflow 和 BigQuery 等其他资源按相应服务的价格计费。

合作伙伴

推荐的合作伙伴

Google Cloud 合作伙伴可以帮助您通过 Datastream 充分利用您的数据。


ORACLE® 是 Oracle Corporation 的注册商标。

更进一步

获享 $300 赠金以及 20 多种提供“始终免费”用量的产品,开始在 Google Cloud 上构建项目。

Google Cloud
  • ‪English‬
  • ‪Deutsch‬
  • ‪Español‬
  • ‪Español (Latinoamérica)‬
  • ‪Français‬
  • ‪Indonesia‬
  • ‪Italiano‬
  • ‪Português (Brasil)‬
  • ‪简体中文‬
  • ‪繁體中文‬
  • ‪日本語‬
  • ‪한국어‬
控制台
  • 利用我们透明的定价方法节省资金
  • Google Cloud 的随用随付价格方案会根据预付费资源的每月用量和折扣费率自动为您节省费用。请立即联系我们,获取报价。
Google Cloud