從關聯資料庫順暢地直接複製至 BigQuery,以提供近乎即時的營運資料深入分析資訊。
優點
直接將 MySQL、PostgreSQL、AlloyDB、SQL Server 和 Oracle 資料庫的內容順暢複製到 BigQuery,延遲時間短,也不會影響來源效能。
採用可自動調整資源配置的無伺服器方法,讓您無須管理任何基礎架構,因此能減輕營運負擔。
經過簡化的設定程序,只要幾個步驟就能開始將資料從作業資料庫複製到 BigQuery。
主要功能與特色
Datastream 使用 BigQuery 的變更資料擷取 (CDC) 功能和 Storage Write API,以近乎即時的方式直接從來源系統複製更新。您不必再使用複製解決方案等有價值的資源處理繁雜的資料管道、自行管理測試環境資料表、複雜合併邏輯或手動資料類型轉換。
透過 Datastream,只要幾個步驟就能將資料複製到 BigQuery。只要在 BigQuery 中設定來源資料庫、連線類型和目的地,就大功告成。BigQuery 適用的 Datastream 會補充歷來資料,並在發生新的變更時持續複製。
Datastream 可以在最短的延遲時間內讀取 MySQL、PostgreSQL、AlloyDB、SQL Server 和 Oracle 資料庫中的所有變更 (插入、更新及刪除),並傳送至 BigQuery。來源資料庫可以託管於地端部署環境、Google Cloud 服務 (例如 Cloud SQL、Oracle 適用的 Bare Metal 解決方案),或是任何雲端的任意位置。這是專為 BigQuery 建構的無代理程式 Google 原生服務,可以穩定地即時串流每個事件。
隨著來源結構定義變更,Datastream 可以順暢地處理結構定義偏移,並將來源中新增的新資料欄和資料表自動複製到 BigQuery。
Datastream 支援多種安全的私人連線方法,可保護傳輸中的資料。靜態資料也都會經過加密處理。
客戶
使用案例
Datastream 會從來源資料庫中讀取變更事件 (插入、更新和刪除),並近乎即時地將這類事件寫入 BigQuery 資料表中。如此一來,您就能用零售購買等交易資料來強化現有的 BigQuery 資料倉儲和機器學習模型,進而提供更完整的端對端資料。Datastream 會補充歷來資料,並持續在發生新的變更時複製,並順暢地處理結構定義變更。
主要優點
將作業資料複製到 BigQuery 最簡單的方式
可自動調整資源配置的無伺服器架構
可讓您以端對端的方式檢視及監控複製管道的單一介面
提供彈性的自訂解決方案
由 Google 支援的各種目的地預先建立的範本
整合資料品質和資料遮蓋等其他功能
ETL 開發人員和資料分析師專用的簡易介面
事先找出複製作業的潛在問題和落差
近乎即時的複製效能深入分析
主要優點
將作業資料複製到 BigQuery 最簡單的方式
可自動調整資源配置的無伺服器架構
可讓您以端對端的方式檢視及監控複製管道的單一介面
主要優點
提供彈性的自訂解決方案
由 Google 支援的各種目的地預先建立的範本
整合資料品質和資料遮蓋等其他功能
主要優點
ETL 開發人員和資料分析師專用的簡易介面
事先找出複製作業的潛在問題和落差
近乎即時的複製效能深入分析
定價
Datastream 的價格是根據實際處理的資料計算而得。我們提供以量計價的級別制價格,因此在遷移大量資料時較經濟實惠。其他定價詳細資料請參閱 Datastream 定價頁面。
BigQuery、Cloud Storage 和 Dataflow 等其他資源則會按照這些服務的定價收費。