什麼是資料架構?

資料架構是藍圖,呈現貴公司完整的處理資訊流程。您可以將其想像成房屋的水電配置圖,這些圖表顯示水管和電線的走向;資料架構則說明資料的收集方式、儲存位置、變更方式,以及使用對象。從顧客點按應用程式到經理桌上的報表,資料架構描繪出資料的傳輸路徑。

資料架構的重要性

沒有正式計畫就開始營運,就像沒有地圖就開始蓋城市。久而久之,就會陷入「資料沼澤」困境。這些龐大的儲存空間充斥著原始資料,無人能找到、信任或使用。如果沒有妥善設計,工程團隊會花更多時間尋找資訊,而不是建構新功能或訓練 AI 模型。

此外,良好的架構也能做為 IT 和業務主管之間的橋梁。如果主管說:「我們需要即時掌握顧客趨勢」,架構就能將這個目標化為技術現實。例如,指示工程師將串流管道建構至 BigQuery 等工具。確保每筆技術支出都能實際幫助公司成長。

現代資料架構的關鍵要素

現代資料架構遵循生命週期:資料會經過建立、移動、儲存、精煉和使用等階段。如要瞭解運作方式,不妨看看資料在不同系統中的傳輸路徑。

這個系統的技術建構區塊是開發人員建立所有內容的基礎。每個部分都有特定工作。

一切都始於資料產生的源頭。這可能是顧客使用的應用程式、工廠感應器 (IoT) 或第三方 API。這些來源會以不同速度傳送結構化資料 (例如姓名和日期) 和非結構化資料 (例如聊天記錄)。

這些是專門儲存應用程式日常資料的工具。開發人員會使用關聯式資料庫處理銀行交易等資料,並使用非關聯式 (NoSQL) 資料庫處理使用者個人資料等資料。最終,您必須從這些「作業」區中提取資料,以便用於大型專案或機器學習訓練。

管道是架構的循環系統,其使用 ETL (擷取、轉換、載入) 或 ELT 程序來移動資料。這些資料管道會從來源提取資訊、清理錯誤,然後將資料傳送至中央位置以供使用。

資料湖泊是可擴充的大型儲存空間,用於存放原始資料。可讓您快速「擷取」資料,不必先設定格式。這可以解決資料孤島的問題,因為每個團隊都能存取相同的原始資訊,並用於自身需求。

在這裡,資料會經過整理,以供嚴謹作業。現代化資料倉儲和「市集」提供結構化空間,可快速查詢資料並發出即時警告。有了這些工具,您就能輕鬆執行大型報表,不必再為了雜亂無章的檔案而苦惱。

如要讓 AI 發揮作用,您需要持續提供最新資料。資料科學家會使用這個架構尋找資料來訓練模型。接著,系統必須持續提供新資訊給這些模型,確保模型在現實世界中保持準確。

資料治理包含可確保資料乾淨且合法的規則與工具。資料治理通常會使用中央目錄,方便使用者找到所需內容。此外,還能設定角色,確保只有適當人員可以查看機密資訊,讓公司符合隱私權法規定。

資料架構類型

大多數機構會在三種整理資料流程的主要方式中做出選擇。

集中式資料架構

這是傳統做法。公司所有資料都會匯入一個大型整合式資料倉儲或資料湖泊。這項方法非常適合維持「單一事實來源」,且方便設定一組規則。不過,這可能會造成瓶頸。如果每個團隊都必須等待中央 IT 團隊移動資料,公司成長速度就會減緩。

分散式資料架構

在這個現代化模型中,行銷或財務等不同業務團隊擁有並管理自己的資料。這些團隊共用一套規則和工具,這種模型通常稱為資料網格或 data fabric,可讓團隊作業不必等待中央部門,進而加快行動速度。

資料湖倉架構

資料湖倉是現代化架構,結合了資料湖泊成本低廉、儲存空間彈性的優點,以及資料倉儲的高效能管理和交易功能。企業可直接在單一整合式平台上執行所有作業,包括基本報表和進階機器學習,避免受限於與特定服務供應商合作。

如何設計企業資料架構

步驟 1:配合業務目標

別急著介紹工具,先說明「為什麼」。確認企業想達成的目標。無論是即時偵測信用卡詐欺,還是建構生成式 AI 聊天機器人,瞭解目標後,您就能知道需要哪種架構。

步驟 2:評估目前的資料成熟度

先看看自己手邊有哪些資源。檢查舊版系統、資料孤島,以及資料停滯的位置。這項稽核作業可協助您決定要保留哪些內容,以及哪些內容需要移至雲端。

步驟 3:定義資料治理政策

在購買技術前,請先制定規則,決定誰擁有資料,以及如何保持資料的乾淨度。如果從一開始就將法規遵循納入基礎架構,日後就不必手忙腳亂地修補安全漏洞。

步驟 4:選擇合適的雲端技術

現在輪到您挑選堆疊了。請選擇能順暢搭配使用的資料移動、儲存和轉換工具。確保這些工具支援您選擇的模式 (例如湖倉或網格),並能因應未來的 AI 計畫。

資料架構的主要優點

改良決策制定流程

只要資料容易尋找且值得信賴,主管就不必猜測。他們可以查看即時報表和預測趨勢,做出相應行動。將「我們認為這可能有效」轉變為「我們知道這有效」。

營運效率與成本降低

良好的架構可避免您為儲存在三個不同位置的相同資料付費,還能自動執行移動資料的繁瑣作業。這樣不僅能節省雲端費用,工程師也能專心打造酷炫的新功能,不必再花時間修復故障管道。

AI 與機器學習準備度

沒有優質資料,就無法打造出色的 AI。穩固的架構可提供模型學習所需的乾淨、有條理且受控管的資料。確保生成式 AI 掌握正確背景資訊,提供實用且準確的答案。

透過 Google Cloud 解決業務難題

新客戶可以獲得價值 $300 美元的免費抵免額,盡情試用各項 Google Cloud 功能。
與 Google Cloud 銷售專員聯絡,深入探討您面臨的特殊難題。

其他資源

後續行動

運用價值 $300 美元的免費抵免額和 20 多項一律免費的產品,開始在 Google Cloud 建構產品與服務。