資料湖泊是集中式存放區,可以儲存、處理及保護大量結構化、半結構化和非結構化資料。資料湖泊可以用原生格式儲存資料,並處理各式各樣的資料,無需顧慮資料大小限制。
若想進一步瞭解如何在 Google Cloud 上實現資料湖泊現代化,請參閱這篇文章。
準備好了嗎?新客戶可以獲得價值 $300 美元的免費抵免額,盡情試用 Google Cloud 的各項功能。
資料湖泊提供擴充性與安全性兼具的平台,不論資料是位於地端部署環境、雲端還是邊緣運算系統,企業都能夠:以任何速度從這些系統中擷取任何資料;大規模儲存各式各樣完整不失真的資料;即時或批次處理資料;使用 SQL、Python、R 或其他任何語言、第三方資料或數據分析應用程式來分析資料。
資料湖泊與資料倉儲:資料湖泊的定義絕非如此狹隘,它不只是用來儲存而已,與資料倉儲也不盡相同。
儘管資料湖泊和資料倉儲都具有可儲存資料的容量,但各有不同的最適用途。兩者的關係是互補而不是競爭,對公司來說,可能兩者都需要。相較來說,資料倉儲通常運用於商業行為中常見的重複性報告和分析,例如月銷售報表、各區域銷售額追蹤或網站流量等。
在判斷公司是否需要資料湖泊時,請考量要處理的資料類型、處理資料的目的、資料擷取過程的複雜性,以及資料管理和控管策略,還有機構現有的工具和技能。
如今,各個公司也開始以不同的角度看待資料湖泊的價值:資料湖泊不僅能儲存完全不失真的資料,也可以讓使用者對業務情況有更深入的瞭解,因為他們能比以往掌握更多脈絡,進而可加快數據分析實驗速度。
如果開發的目的主要是為了處理巨量大數據,則公司通常可透過批次和/或串流,將原始資料移至資料湖泊而無需進行轉換。資料湖泊可為企業帶來以下顯著效益:
提供串流音樂、廣播和 Podcast 服務的公司,可透過改進其推薦系統,讓使用者願意多使用他們的服務,如此將能創造更多流量賣更多廣告,進而增加收益。
跨國電信公司可以建構流失傾向模型,藉此協助減少客戶流失,進而實現節約效益。
投資公司可以利用資料湖泊推動機器學習,只要能存取即時市場資料,就能管理投資組合風險。