正式發布 Datastream 的 PostgreSQL 來源和 BigQuery 目的地。閱讀網誌
跳至
Datastream

Datastream

無伺服器且易於使用,可輕鬆變更資料擷取及複製服務。

  • 從 MySQL、PostgreSQL、AlloyDB 和 Oracle 資料庫存取串流、低延遲的資料

  • 運用 BigQuery 適用的 Datastream,在 BigQuery 中進行近乎即時的分析作業

  • 透過內建安全連線的簡單設定,縮短創造價值的時間

  • 自動調整資源配置、不須佈建或管理資源的無伺服器平台

  • 保護資料庫同步處理和事件導向架構的基礎

優點

以最低延遲時間複製和同步處理資料

在不同類型的資料庫、儲存系統和應用程式之間以可靠的方式同步處理資料,並以低延遲的方式降低對來源效能的影響。

運用無伺服器架構擴充或縮減規模

透過無伺服器且易於使用的服務流暢調整資源配置,無須管理任何基礎架構,即可快速設定和執行。

Google Cloud 服務無與倫比的靈活性

透過 Google Cloud 的優質服務連結並整合貴機構的資料,例如 BigQuerySpannerDataflowData Fusion

主要功能與特色

Datastream 的不同做法

串流關聯資料庫中的資料

Datastream 會讀取及傳送 MySQL、PostgreSQL、AlloyDB 和 Oracle 資料庫中的所有變更 (例如插入、更新及刪除),並將資料載入 BigQueryCloud SQLCloud StorageSpanner。這項服務不需要代理程式,而且原生於 Google,可以穩定地即時串流發生的各個事件。Datastream 每個月處理超過 5,000 億個事件。

正規化跨來源資料類型

Datastream 會將來自來源資料庫的每個事件的資料類型正規化為統一的 Datastream 類型。無論資料來源為何,這項無損的各種來源資料類型正規化都能以來源通用的方式簡化下游處理流程。

結構定義偏移解決方法

當來源結構定義有所變更時,Datastream 即可快速且順暢地執行結構定義偏移解決方法。Datastream 會在每次結構定義變更時輪替檔案,並在目的地值區中建立新檔案。原始來源資料類型就是非最新版本 Schema Registry 的 API 呼叫。

融入安全性考量的設計

Datastream 支援多種安全的私人連線方法,可保護傳輸中的資料。此外,系統會對傳輸中的資料和靜態資料進行加密,並在串流時保護資料的安全,您完全不需要擔心。

Just Eat Takeaway 標誌
Datastream 是遷移作業中的關鍵角色,能將各種營運資料來源的資料,以高品質且協調的方式複製到 BigQuery。這項服務易於使用、無伺服器且具備高擴充性,因此我們可在短時間內設定首次串流。資料擷取是資料平台遷移的基礎,因此速度對我們來說至關重要。

Just Eat Takeaway 資料擷取部門主管 Oleksandr Kaleniuk

說明文件

尋找 Datastream 的資源和說明文件

Google Cloud 基本資訊

Datastream 總覽

瞭解 Datastream 如何協助您在不同類型的資料庫、儲存系統和應用程式之間複製和同步處理資料。
快速入門導覽課程

使用 Cloud Console 進行 Datastream 快速入門導覽課程

瞭解如何使用 Google Cloud Console 做為視覺化介面以開始串流資料。
教學課程

使用 API 設定 Datastream

瞭解如何使用 API 設定 Datastream,將資料從來源 Oracle 資料庫轉移到 Cloud Storage。
Google Cloud 基本資訊

如何從 Oracle 遷移至 PostgreSQL 適用的 Cloud SQL

使用 Google 提供的以 Datastream 為基礎的開放原始碼工具包,從 Oracle 遷移至 PostgreSQL 適用的 Cloud SQL
教學課程

透過 Datastream 和 Dataflow 將資料複製到 BigQuery

瞭解如何將 Datastream 與 Dataflow 範本相互結合,以便複製關聯資料庫中的資料。
教學課程

如何將 Oracle 資料庫中的資料複製到 BigQuery

觀看這部影片,瞭解如何使用與 Datastream 整合的 Data Fusion 複製加速器,將 Oracle 資料即時複製到 BigQuery。

找不到所需資訊嗎?

使用案例

持續進行變更資料擷取作業,並在事件發生時複製每個事件

用途
在任何時間都能即時變更串流內容

「變更資料擷取」功能會讀取來源資料庫中的變更事件 (插入、更新和刪除),然後將這些內容寫入資料目的地,藉此整合資料,以便採取行動。Datastream 支援將 Oracle 和 MySQL 資料庫的變更串流匯至 BigQuery、Cloud SQL、Cloud Storage 和 Spanner,以便進行即時分析、資料庫複製作業及其他用途。我們日後會陸續支援其他來源和目的地。

Datastream 圖表

定價

Datastream 定價詳細資料

Datastream 定價是依據每月實際處理的資料量計算。其他定價詳細資料請參閱 Datastream 定價頁面。

Cloud Storage、Dataflow 和 BigQuery 等其他資源則按照該服務的定價計費。

合作夥伴

推薦合作夥伴

Google Cloud 合作夥伴可協助您透過 Datastream 充分發揮資料的價值。


ORACLE® 是 Oracle Corporation 的註冊商標。

展開下一步行動

運用價值 $300 美元的免費抵免額和超過 20 項一律免費的產品,開始在 Google Cloud 中建構產品與服務。

Google Cloud
  • ‪English‬
  • ‪Deutsch‬
  • ‪Español‬
  • ‪Español (Latinoamérica)‬
  • ‪Français‬
  • ‪Indonesia‬
  • ‪Italiano‬
  • ‪Português (Brasil)‬
  • ‪简体中文‬
  • ‪繁體中文‬
  • ‪日本語‬
  • ‪한국어‬
控制台
  • 公開透明的定價方式,可讓您節省成本
  • Google Cloud 採用「即付即用」的收費方式,會依據每月用量和預付資源的折扣費率自動節省費用。歡迎立即與我們聯絡,取得專屬報價。
Google Cloud