沒有正式計畫就開始營運,就像沒有地圖就開始蓋城市。久而久之,就會陷入「資料沼澤」困境。這些龐大的儲存空間充斥著原始資料,無人能找到、信任或使用。如果沒有妥善設計,工程團隊會花更多時間尋找資訊,而不是建構新功能或訓練 AI 模型。
此外,良好的架構也能做為 IT 和業務主管之間的橋梁。如果主管說:「我們需要即時掌握顧客趨勢」,架構就能將這個目標化為技術現實。例如,指示工程師將串流管道建構至 BigQuery 等工具。確保每筆技術支出都能實際幫助公司成長。
現代資料架構遵循生命週期:資料會經過建立、移動、儲存、精煉和使用等階段。如要瞭解運作方式,不妨看看資料在不同系統中的傳輸路徑。
這個系統的技術建構區塊是開發人員建立所有內容的基礎。每個部分都有特定工作。
一切都始於資料產生的源頭。這可能是顧客使用的應用程式、工廠感應器 (IoT) 或第三方 API。這些來源會以不同速度傳送結構化資料 (例如姓名和日期) 和非結構化資料 (例如聊天記錄)。
資料湖泊是可擴充的大型儲存空間,用於存放原始資料。可讓您快速「擷取」資料,不必先設定格式。這可以解決資料孤島的問題,因為每個團隊都能存取相同的原始資訊,並用於自身需求。
在這裡,資料會經過整理,以供嚴謹作業。現代化資料倉儲和「市集」提供結構化空間,可快速查詢資料並發出即時警告。有了這些工具,您就能輕鬆執行大型報表,不必再為了雜亂無章的檔案而苦惱。
如要讓 AI 發揮作用,您需要持續提供最新資料。資料科學家會使用這個架構尋找資料來訓練模型。接著,系統必須持續提供新資訊給這些模型,確保模型在現實世界中保持準確。
資料治理包含可確保資料乾淨且合法的規則與工具。資料治理通常會使用中央目錄,方便使用者找到所需內容。此外,還能設定角色,確保只有適當人員可以查看機密資訊,讓公司符合隱私權法規定。
大多數機構會在三種整理資料流程的主要方式中做出選擇。
這是傳統做法。公司所有資料都會匯入一個大型整合式資料倉儲或資料湖泊。這項方法非常適合維持「單一事實來源」,且方便設定一組規則。不過,這可能會造成瓶頸。如果每個團隊都必須等待中央 IT 團隊移動資料,公司成長速度就會減緩。
在這個現代化模型中,行銷或財務等不同業務團隊擁有並管理自己的資料。這些團隊共用一套規則和工具,這種模型通常稱為資料網格或 data fabric,可讓團隊作業不必等待中央部門,進而加快行動速度。
資料湖倉是現代化架構,結合了資料湖泊成本低廉、儲存空間彈性的優點,以及資料倉儲的高效能管理和交易功能。企業可直接在單一整合式平台上執行所有作業,包括基本報表和進階機器學習,避免受限於與特定服務供應商合作。
別急著介紹工具,先說明「為什麼」。確認企業想達成的目標。無論是即時偵測信用卡詐欺,還是建構生成式 AI 聊天機器人,瞭解目標後,您就能知道需要哪種架構。
先看看自己手邊有哪些資源。檢查舊版系統、資料孤島,以及資料停滯的位置。這項稽核作業可協助您決定要保留哪些內容,以及哪些內容需要移至雲端。
在購買技術前,請先制定規則,決定誰擁有資料,以及如何保持資料的乾淨度。如果從一開始就將法規遵循納入基礎架構,日後就不必手忙腳亂地修補安全漏洞。
現在輪到您挑選堆疊了。請選擇能順暢搭配使用的資料移動、儲存和轉換工具。確保這些工具支援您選擇的模式 (例如湖倉或網格),並能因應未來的 AI 計畫。
改良決策制定流程
只要資料容易尋找且值得信賴,主管就不必猜測。他們可以查看即時報表和預測趨勢,做出相應行動。將「我們認為這可能有效」轉變為「我們知道這有效」。
營運效率與成本降低
良好的架構可避免您為儲存在三個不同位置的相同資料付費,還能自動執行移動資料的繁瑣作業。這樣不僅能節省雲端費用,工程師也能專心打造酷炫的新功能,不必再花時間修復故障管道。
AI 與機器學習準備度
沒有優質資料,就無法打造出色的 AI。穩固的架構可提供模型學習所需的乾淨、有條理且受控管的資料。確保生成式 AI 掌握正確背景資訊,提供實用且準確的答案。
如要建構現代資料架構,必須採用可完美搭配運作的模組化工具堆疊。以下是建構、管理及保護資料環境時,會用到的核心 Google Cloud 產品:






