Datastream 的 SQL Server 來源現已推出預先發布版。閱讀網誌。
無伺服器且易於使用的變更資料擷取及複製服務。
從 MySQL、PostgreSQL、AlloyDB、SQL Server 和 Oracle 資料庫存取串流資料
運用 BigQuery 適用的 Datastream,在 BigQuery 中進行近乎即時的分析作業
在湖倉和作業資料庫之間建立完整的資料迴圈
透過內建安全連線的簡單設定,縮短創造價值的時間
自動調整資源配置、不須佈建或管理資源的無伺服器平台
優點
以最低延遲時間複製和同步處理資料
在異質資料庫、儲存系統和應用程式之間以可靠的方式同步處理資料,並以低延遲的方式將對來源效能的影響降到最低。
運用無伺服器架構擴充或縮減規模
透過無伺服器且易於使用的服務流暢調整資源配置,無須管理任何基礎架構,即可快速設定和執行。
Google Cloud 服務無與倫比的靈活性
透過 Google Cloud 的優質服務 (例如 BigQuery、Lakehouse for Apache Iceberg、Spanner 和 Dataflow),連結並整合貴機構的資料。
主要功能與特色
Datastream 可以讀取並傳送 MySQL、PostgreSQL、AlloyDB、SQL Server 和 Oracle 資料庫中的所有變更 (插入、更新及刪除),然後載入至 BigQuery、Cloud SQL、Cloud Storage 和 Spanner。這項服務不需要代理程式,而且原生於 Google,可以穩定地即時串流發生的各個事件。Datastream 每個月處理超過 5,000 億個事件。
使用 Datastream 在 AlloyDB 與 Iceberg 和 BigQuery 資料表之間建立完整的資料迴圈,並運用 Knowledge Catalog 進行資料治理,輕鬆搜尋資料。
服務意外中斷可能會產生大量損失。Datastream 提供穩固可靠的串流復原功能,可將停機時間和遺失的資料量降到最低,讓您維持重要的業務營運作業,並依據不會中斷的資料管道制定明智決策。
當來源結構定義有所變更時,Datastream 即可快速且順暢地執行結構定義偏移解決方法。Datastream 會在每次結構定義變更時輪替檔案,並在目的地 bucket 中建立新檔案。原始來源資料類型就是非最新版本 Schema Registry 的 API 呼叫。
Datastream 支援多種安全的私人連線方法,可保護傳輸中的資料。此外,系統會對傳輸中的資料和靜態資料進行加密,並在串流時保護資料的安全,您完全不需要擔心。
Datastream 是遷移作業中的關鍵角色,能將各種營運資料來源的資料,以高品質且協調的方式複製到 BigQuery。這項服務易於使用、無伺服器且具備高擴充性,因此我們可在短時間內設定首次串流。資料擷取是資料平台遷移的基礎,因此速度對我們來說至關重要。
Just Eat Takeaway 資料擷取業務負責人 Oleksandr Kaleniuk

最新資訊
訂閱 Google Cloud 電子報,即時掌握產品動態、活動資訊和特價優惠等最新消息。
說明文件
使用 Google 提供的以 Datastream 為基礎的開放原始碼工具包,從 Oracle 遷移至 PostgreSQL 適用的 Cloud SQL。
ORACLE® 是 Oracle Corporation 的註冊商標。