資料產品只是一種包裝資料的方法,以解決特定業務問題。我們不會提供可能雜亂或令人困惑的原始資料,而是將資料視為商店貨架上的產品,提供完整說明,包括資料內容、使用方式,以及保證資料準確無誤。將原始資訊轉換為高品質、可探索的資產,供整個組織使用。
這就像購買散裝食材和購買料理包的差異。資料產品就是這樣的套件,將原始資料與解決特定業務問題所需的指示和背景資訊包裝在一起。將分散的資料轉化為組織可信任、容易尋找,且可以即時發揮效用的資訊。
資料產品的應用形式相當廣泛,包括:
「資料產品」和「資料即產品」這兩個詞很容易混淆,但兩者意義不同。瞭解兩者差異,對建構雲端解決方案至關重要。
主要差異:
功能 | 資料即產品 | 資料產品 |
這是什麼? | 策略或理念。 | 預先封裝的資料資產。 |
主要目標 | 提升資料品質和可信度。 | 解決特定使用者問題。 |
範例 | BigQuery 中的乾淨且已記錄的「顧客」資料表,並已指派擁有者。 | 「徹底瞭解客戶」資料產品,從該資料表擷取資料,顯示使用者的歷史記錄。 |
資料產品可做為治理功能使用,將資料和模型包裝成符合邏輯、安全且容易探索的單元。機構可透過核准工作流程,明確劃分擁有權並管理存取權。
零售商可將顧客行為數據和產品推薦模型包裝成單一「個人化資料產品」。透過 Knowledge Catalog,組織可確保只有獲得授權的開發人員,才能存取基礎資料集和模型端點。這個治理層會透過中繼資料 (切面) 提供背景資訊,同時保護機密的使用者互動。
金融機構可以建立「詐欺風險」資料產品,將即時交易串流與機器學習模型結合。這個整合式套件可確保核准工作流程安全無虞。調查人員需要存取風險分數時,會透過中央入口網站提出要求。這可確保存取權限具時效性,並經過完整稽核,防止未經授權的資料暴露。
在製造業中,「機器健康狀態」資料產品會結合感應器資料和異常偵測模型。自動資料品質檢查和剖析等治理功能,可確保模型只使用可信的資料。避免因感應器故障或原始輸入資料「雜亂」,所導致的錯誤故障預測。
物流團隊可將路線演算法和車輛限制資料集包裝成「配送最佳化」資料產品。透過在 data fabric 中建立網域層級擁有權,公司可以追蹤資料歷程,清楚瞭解原始位置資料如何轉換為最終的駕駛員排班表。
建構資料產品可為企業帶來顯著優勢。這能協助企業從單純收集資料,轉為實際運用資料創造價值。
做出更佳決策
機構可透過資料產品,將重要洞察資訊直接提供給有需要的人。這有助於團隊根據證據而非直覺,做出更明智的策略選擇。
加快創新速度
可重複使用的資料產品能縮短實作新用途所需的時間。開發人員可將現有資料產品整合至應用程式,加快推送功能和解決問題的速度,不必管理複雜的原始資料管道。
提升收益
資料產品可協助公司直接透過資產營利。舉例來說,企業可能會將專屬資料包裝成其他開發人員可使用的產品。
取得競爭優勢
以資料為導向的組織通常能更有效地獲取和留住客戶。相較於未有效運用資料的競爭對手,公司只要提供更智慧、更個人化的體驗,就能脫穎而出。
安全地建構代理
在這些「預先封裝」的資料產品上建構 AI 代理,可確保 AI 從經過驗證的高品質資訊學習,而不是雜亂的原始資料。這樣就能建立一個安全環境,讓 AI 提供準確且可信的答案,不會意外洩漏機密或錯誤資訊。
我們來看看如何使用 BigQuery 和 Knowledge Catalog 等工具,打造「零售庫存預測器」等資料產品。
目標:打造內部工具,告知店經理哪些商品庫存不足,並預測下週需要訂購哪些商品。
首先,您需要一個地方來儲存銷售資料。您可以使用無伺服器資料倉儲 BigQuery,設定管道將各分店的每日銷售數字串流至 BigQuery 資料表。
在建構模型前,您需要確保資料乾淨無誤。Knowledge Catalog 可協助您管理資料生命週期,例如:
現在,您要建立情報。您不必將資料匯出至其他工具,只要使用 BigQuery ML 編寫簡單的 SQL 查詢,就能訓練機器學習模型。這個模型會查看過去的銷售趨勢,預測未來的需求。
最後,您可以使用 Looker 建構簡單的 API 或資訊主頁。當商店主管登入時,不會看到 SQL 查詢,而是簡潔的介面,上面寫著「週二前再訂購 50 件紅色襯衫」。恭喜!您已成功將原始資料轉化為實用的資料產品。