什麼是資料倉儲?

data warehouse 又稱為企業 data warehouse (EDW),是一種企業資料平台,可用於分析及報告來自多種資料來源的結構化和半結構化資料,例如銷售點交易、行銷自動化、客戶關係管理等資料。

資料倉儲包含分析資料庫及關鍵分析元件與程序。資料倉儲支援即時性分析和自訂報表,例如資料管道、查詢和商務應用程式。資料倉儲可將大量新舊資料匯總整合於一處,便於提供不同時間點的資料檢視方式。這些功能使 data warehouse 成為企業數據分析不可或缺的工具,可協助企業制定明智的業務決策

瞭解 Google Cloud 符合成本效益的無伺服器多雲端企業 data warehouse 服務 BigQuery

資料倉儲的定義

資料倉儲是一套可用於分析多種不同來源的結構化和半結構化資料 (如銷售點交易、行銷自動化、客戶關係管理等) 並製作相關報表的企業系統。資料倉儲系統適合執行即時性分析和自訂報表工作。資料倉儲可將各種新舊資料集中儲存於一處,便於提供不同時間點的資料檢視方式,是取得商業智慧不可或缺的一環。

傳統與雲端資料倉儲系統的比較

傳統資料倉儲系統部署於地端環境,資料會從關聯資料庫、交易系統、業務應用程式和其他來源系統流入。不過,其架構通常是為了方便分批擷取資料,並根據嚴謹的結構定義儲存資料而設計,因此不適合執行自發性查詢或即時分析工作。使用地端部署資料倉儲系統時,公司還必須自行購買軟硬體並支付高昂的擴充和維護費用。在傳統倉儲系統中,儲存空間通常比運算資源有限,因此系統會迅速轉換資料,然後捨棄這些資料,以維持儲存空間的可用容量。

資料分析活動如今已成為一切核心業務活動 (包括創造收益、降低成本、改善營運表現及提升客戶體驗) 的中心。隨著資料種類不斷演進與多元化,機構組織需要更強大的 data warehouse 解決方案和先進的數據分析工具,才能儲存、管理及分析整個機構組織的龐大資料。

系統必須具有足夠的擴充性、可靠性、安全性和靈活性,才能在受法規管制的產業中支援各種資料類型和大數據用途。此外,還需要提供彈性定價和運算服務,讓您用多少付多少,無需費心猜測需要的容量。以上種種需求早已超出大多數傳統資料倉儲系統的能力範圍。因此,許多企業紛紛轉向雲端式 data warehouse 解決方案。

Cloud data warehouse 不需要像傳統 data warehouse,在效能與成本之間權衡取捨,不僅功能更加強大,還是在全代管的雲端服務中執行。Cloud data warehousing 技術具備即時擴充能力,能因應不斷變化的業務需求,而強大的資料處理功能也可支援複雜的分析查詢工作。

有了 cloud data warehouse,您不僅能享有雲端環境特有的彈性優勢,費用也更好預測。由於實體基礎架構是由雲端服務供應商負責管理及維護,因此與 on-premises data warehouse 相比,前期投資費用通常較低,前置時間也更短。

資料倉儲技術在雲端中的運作方式

與傳統資料倉儲系統相似,雲端資料倉儲系統可以收集、整合及儲存內部和外部資料來源的資料。資料通常會透過資料管道從來源系統轉移至雲端資料倉儲系統。擷取自來源系統的資料會先經過轉換,然後再載入 data warehouse,這個處理程序稱為 ETL (擷取、轉換、載入)。資料也可以直接傳送至中央存放區,然後使用 ELT (擷取、載入、轉換) 程序進行轉換。接著,使用者就能運用不同的商業智慧 (BI) 工具來進行資料存取、探勘及製作相關報表。雲端資料倉儲系統應同時支援串流用途,才能以即時或近乎即時的方式啟用資料。

雲端資料倉儲系統可以在公有雲環境中提供結構化和半結構化資料的儲存、處理、整合、清理及載入等服務。也可以與雲端資料湖泊搭配使用,用於收集和儲存非結構化資料。在部分供應商提供的服務中,您甚至可以整合 data warehouse 與 data lake,以便集中維護及管理企業資料。

各雲端服務供應商提供的 cloud data warehouse 服務可能不盡相同。比方說,某些雲端資料倉儲系統可能會使用與傳統資料倉儲系統類似的叢集式架構。而其他系統則是採用可進一步減輕資料管理責任的現代化無伺服器架構。不過,大部分的雲端資料倉儲系統都內建資料儲存空間、容量管理功能及自動升級功能。

雲端資料倉儲系統的其他重要功能包括:

  • 大量平行處理 (MPP) 能力
  • 直欄式資料儲存庫
  • 自助式 ETL 和 ELT 資料整合程序
  • 災難復原和自動備份功能
  • 法規遵循和資料治理工具
  • 內建商業智慧 (BI)、AI 和機器學習技術整合功能

雲端資料倉儲的優勢

越來越多的公司決定捨棄傳統資料倉儲系統,轉而將資料倉儲系統遷移至雲端,享受代管服務提供的成本節約效益和高擴充性。

以下是 cloud data warehousing 的主要優勢。

可輕鬆進行資源調度

雲端資料倉儲系統具備絕佳彈性,可提供近乎無限的儲存空間和容量。您可以根據業務需求輕鬆擴充或縮減規模,而且用多少就付多少。

機器學習和 AI 計畫

雲端資料倉儲系統能協助客戶快速開展及實作機器學習模型和 AI 技術,並用於進行資料探勘、預測業務成果及達成其他領域 (如資料生命週期管理、業務流程和營運成本) 的最佳化。

更穩定的運作時間

雲端供應商必須遵守服務水準協議 (SLA),透過可靠且易於擴充的雲端基礎架構提供更穩定的運作時間。地端部署資料倉儲系統則有規模和資源上的限制,效能可能因此受到影響。

成本可預測性

雲端服務不僅定價較靈活,而且更容易預測。有些供應商按總處理量或每節點每小時收費,有些則是對一定數量的資源收取固定價格。在任何一種收費方式下,無論是否使用資源,企業都可以省去地端部署資料倉儲系統全年不斷運作而衍生的龐大費用。

節省營運成本

雲端資料倉儲系統提供全代管服務,讓您能夠將繁瑣的管理工作交由必須遵守服務水準協議 (SLA) 的雲端服務供應商代為管理。如此便能節省營運成本,並讓內部團隊把工作重心放在業務成長計畫上。

即時分析

雲端資料倉儲系統提供更強大的運算能力,可支援串流資料,讓您能夠即時查詢資料。因此,相較於地端部署資料倉儲系統,存取及使用資料的速度要快得多,讓您能夠更快取得更準確的深入分析結果,並制定更明智的業務決策。

資料倉儲的用途有哪些?

Cloud data warehousing 提供一系列解決方案,讓機構從中受益。以下列舉一些最常見的 data warehouse 用途:

即時決策:即時分析資料,以便主動面對挑戰、識別商機、提升效率、降低成本,並且主動應對業務事件。

整合互不流通的資料:從機構中多種不同的結構化來源 (例如銷售點系統、網站和電子郵件清單) 提取資料,並彙整至同一處位置,以便進行分析並取得洞察資訊。

業務報表和臨時性分析:將歷來資料與營運資料存放在不同的伺服器上,讓使用者可以存取及執行自己的查詢和報表,而不會影響作業系統的效能或必須等候 IT 人員給予協助。

實作機器學習與 AI 技術:收集歷來和即時資料,並開發演算法來取得預測洞察,例如預測流量高峰,或向瀏覽網站的消費者推薦相關產品。

許多企業和產業需要的資料分析不僅規模龐大,而且還需具備即時分析能力。例如,某些服務供應商必須使用即時資料做為動態調整價格的依據。保險公司不但需要追蹤保單、銷售、理賠、薪資等資料,還需運用機器學習來預測欺詐活動。遊戲公司則必須即時追蹤使用者行為並做出回應,強化玩家的體驗。有了資料倉儲,上述所有活動都能順利完成。

如果貴機構符合以下任何一項狀況,即適合採用 data warehouse:

  • 資料來源多而繁雜
  • 需要以非同步或即時方式進行大數據分析和圖表化檢視
  • 機器學習模型和其他 AI 驅動程序
  • 串流分析
  • 自訂報表製作/即時性分析
  • 資料探勘
  • 數據資料學和地理空間分析

如何選擇雲端資料倉儲解決方案

選擇雲端式 data warehouse 時,請務必評估解決方案的運作方式,並深入瞭解 cloud data warehouse 需要支援的用途有哪些。

除了倉儲功能外,在選擇供應商時,還須考量許多因素,包括系統在架構、擴充性、安全性、定價和效能等方面的差異。舉例來說,您可能會發現,容易實作的解決方案在擴充能力上可能較差,或者您可能必須重新訓練所有資料分析師,以及購買更多授權來升級目前的系統。

除了瞭解各家供應商之間的差別,您也應考量遷移至雲端資料倉儲系統所涉及的具體事項,以及這與您現有的 IT 投資和業務需求之間的關係。

企業資料倉儲系統在機構組織的決策過程中扮演核心角色。因此,您必須對業務需求、目前用途及現有解決方案的不足之處有深刻的認識。在評估初期邀請重要利害關係人參與,有助於釐清更換舊版 data warehouse 解決方案的影響、克服挑戰所需具備的功能,以及資料來源、工具、架構等詳細技術資訊。

透過 Google Cloud 解決業務難題

新客戶可以獲得價值 $300 美元的免費抵免額,盡情試用各項 Google Cloud 功能。
與 Google Cloud 銷售專員聯絡,深入探討貴公司面臨的獨特挑戰。

展開下一步行動

運用價值 $300 美元的免費抵免額和超過 20 項一律免費的產品,開始在 Google Cloud 中建構產品與服務。

Google Cloud
  • ‪English‬
  • ‪Deutsch‬
  • ‪Español‬
  • ‪Español (Latinoamérica)‬
  • ‪Français‬
  • ‪Indonesia‬
  • ‪Italiano‬
  • ‪Português (Brasil)‬
  • ‪简体中文‬
  • ‪繁體中文‬
  • ‪日本語‬
  • ‪한국어‬
控制台