data lake 是中央存放區,可以儲存、處理及保護大量結構化、半結構化和非結構化資料。資料湖泊可以用原生格式儲存資料,並處理各式各樣的資料,無需顧慮資料大小限制。
若想進一步瞭解如何在 Google Cloud 上實現資料湖泊現代化,請參閱這篇文章。
準備好了嗎?新客戶可以獲得價值 $300 美元的免費抵免額,盡情試用 Google Cloud 的各項功能。
資料湖泊提供擴充性與安全性兼具的平台,不論資料是位於地端部署環境、雲端還是邊緣運算系統,企業都能夠:以任何速度從這些系統中擷取任何資料;大規模儲存各式各樣完整不失真的資料;即時或批次處理資料;使用 SQL、Python、R 或其他任何語言、第三方資料或數據分析應用程式來分析資料。
data lake 與 data warehouse:data lake 的定義絕非如此狹隘,這項服務不只能用來儲存資料,與 data warehouse 也不盡相同。
儘管資料湖泊和資料倉儲都具有可儲存資料的容量,但各有不同的最適用途。兩者的關係是互補而不是競爭,對公司來說,可能兩者都需要。相較來說,資料倉儲通常運用於商業行為中常見的重複性報告和分析,例如月銷售報表、各區域銷售額追蹤或網站流量等。
在判斷公司是否需要 data lake 時,請考量要處理的資料類型、處理資料的目的、資料擷取過程的複雜性、資料管理和控管策略,還有機構現有的工具和技能。
如今,各公司也開始以不同的角度看待 data lake 的價值:data lake 不僅能儲存完全不失真的資料,也可以讓使用者對業務情況有更深入的瞭解,因為他們能比以往掌握更多脈絡,進而可加快數據分析實驗速度。
如果開發的目的主要是為了處理巨量大數據,公司通常可以透過批次和/或串流,將原始資料直接移至 data lake,不必進行轉換。資料湖泊可為企業帶來以下顯著效益:
由於資料湖泊奠定了數據分析和人工智慧的基礎,所以各行各業都能利用這項技術來增加收益、實現節約效益,並降低風險。
媒體娛樂
提供串流音樂、廣播和 Podcast 服務的公司,可透過改進其推薦系統,讓使用者願意多使用他們的服務,如此將能創造更多流量賣更多廣告,進而增加收益。
電信業
跨國電信公司可以建構流失傾向模型,藉此協助減少客戶流失,進而實現節約效益。
金融服務
投資公司可以利用資料湖泊推動機器學習,只要能存取即時市場資料,就能管理投資組合風險。