使用 BigQuery,提高資料分析效率達 1,600 倍
支持即時資料分析,做出更具成效的商業決策
運用 Google Kubernetes Engine 提供快速且高度可靠的 AI 服務
協助將 AI 模型框架開發時間從三個月縮短至兩天
橘子集團使用 Google Cloud 部署中心化資料倉儲,提升分析效率,不只幫助旗下子公司改善營運表現,也奠定使用 Vertex AI 快速開發創新 AI 解決方案的基礎。
「我們相信大數據和 AI 將成為所有企業日常營運不可或缺的技術。」橘子集團策略長 & AI 創新實驗室負責人陳冠宇表示。「因此,我們透過成立 AI 創新實驗室和招募頂尖人才來鞏固我們的大數據和 AI 技術。鑽研多年之後,我們已經準備好要向不同產業的企業分享我們的 AI 專長,協助他們優化營運績效。」
在推動數據驅動決策之前,橘子集團的子公司使用各自部署在不同環境的關聯式資料庫來儲存或處理資料。由於各子公司數據彼此隔離,傳輸和統整過程複雜,限制了橘子集團的分析和決策能力,維護和管理成本也十分高昂。此外,關聯式資料庫以單機運算為主,缺乏大數據平行運算的基礎架構,處理大量數據的效率較低。因此,橘子集團需要在短時間內建置一個中心化的資料倉儲,才能快速推動數據驅動轉型。在比較過不同解決方案之後,橘子集團選擇使用處理大量資料能力較高、ESG 理念與集團核心價值相符的 Google Cloud。
「為了快速轉型為數據驅動的企業,我們必須設置一個集中式的資料倉儲,盡快統一各子公司的資料收集和處理框架。Google Cloud 提供能加速開發流程、大幅提升我們資料分析效率的極佳解決方案,能有效克服我們遇到的挑戰。」陳冠宇解釋。
2020 年,橘子集團的大數據團隊使用 Dataflow 和 Dataproc 為集團旗下的子公司建置了統一的資料收集框架,並開始將所有商業數據儲存在 Cloud Storage 中。基於這些數據,橘子集團快速利用 BigQuery 建置了一個中心化的資料湖,透過 BigQuery 查詢與運算存放在 Cloud Storage 的數據,以支持高速的數據提取和大數據分析。橘子集團大數據中心負責人 & AI 創新實驗室共同負責人蘇緯倫指出,相較於其他資料分析工具,BigQuery 具備列式儲存、無伺服器自動擴展、分散節點、以及查詢優化等關鍵技術,不只支持高出 1.8 倍的資料檢索速度,也能與 Cloud Storage 中的資料集和 Google Ads、Google Analytics 等橘子集團大量使用的資料來源無縫整合,讓團隊能快速完成中心化資料倉儲的建置。
在使用 Google Cloud 之前,當橘子集團需要進行跨子公司的資料分析時,其分析師往往需要耗費超過一星期的時間,從部署在不同環境的資料庫收集並處理資料。現在,即使是非工程師的橘子集團員工,也能使用 BigQuery 自主執行所需的分析,在幾分鐘之內取得分析結果。
如此一來,橘子集團便能執行更有效、更及時的數據驅動決策。例如,營運團隊在進行營運活動時,必須根據活動參與情況來做策略的調整,在使用 BigQuery之前,營運團隊最快需要兩天後才能取得相關數據,專案規模越大,資料等待時間越長。
現在,藉由使用 Dataflow 將資料串流到 BigQuery 進行即時分析,橘子集團的團隊便能隨時掌握營運活動的最新動向,快速調整策略。
「BigQuery 中的高性能資料倉儲是我們成功完成數據驅動轉型的關鍵。」蘇緯倫說。「現在,我們得以用高出 1,600 倍的分析效率,處理 100 倍以上的資料,促成更好的企業決策。」
建立了統一的資料儲存和分析框架之後,橘子集團決定運用機器學習技術發揮資料的最大價值。藉由使用 Dataproc 進行數據處理、自動為商品貼標,以及 Compute Engine 中的 GPU 資源訓練機器學習模型,橘子集團為旗下的電商和線上媒體業務開發了多個 AI 推薦系統。為了使推薦系統能產生相關度更高的內容,橘子集團也運用 Pub/Sub 和 Dataflow 支持即時資料串流,使用者的最新行為在三秒鐘內就能反映在推薦系統產出的結果中。
橘子集團的 AI 推薦系統使用大量數據訓練,能根據季節、時段等不同情況下的使用者行為產生推薦內容,因而得以提供超個人化的使用體驗。系統在內部上線之後,橘子集團的電商網站轉化率提高了 17 倍,社群媒體上的互動率也增加了 300%。
蘇緯倫指出,在開發和部署 AI 推薦系統的過程中,Google Cloud 提供的豐富運算資源提供了極大的協助。由於 Compute Engine 提供許多開箱即用的驅動程式和工具套件,橘子集團的團隊得以輕鬆設置機器學習的訓練環境。此外,橘子集團將 AI 推薦系統的 API 部署在 Google Kubernetes Engine (GKE) 中,借助 GKE 的高擴展性,即使在打折季等高流量時期,也能維持服務的回覆速度在 500 毫秒以下。
「對像我們的推薦系統這樣需要大量運算資源處理、傳輸資料的 AI 解決方案來說,擁有充足且性能強大的運算資源非常重要。」他補充說。「Compute Engine 和 GKE 讓我們的開發流程更加順暢,並確保了極佳的服務可靠性。」
除了 AI 推薦系統之外,橘子集團也開發了其他超過 10 個 AI 解決方案,部署在 GKE 供內部使用。其中,名為 Vyin Brain 的客服機器人在橘子集團兩個極受歡迎的遊戲中達到了 97% 的自主解決問題比例,大大提升了橘子集團的客服品質。
Vyin Brain 的其中一個重要功能是使用者情境偵測。這個情境偵測框架需要綜合評估意圖、情緒、講話風險、實體關聯等許多分析,才能達到最高成效。為了加速開發流程,橘子集團需要先將不同分析模型整合,解決整合的問題之後再分別優化模型。透過使用 Vertex AI 中預訓練模型與模板,橘子集團的開發團隊得以快速構建模型整合框架,找出潛在問題,大幅縮短之後優化自主訓練模型所需的時間。
「Vertex AI 提供立即能用的 AI 模型,對於我們開發自研 AI 解決方案十分有幫助。我們可以在短時間內完成概念驗證,避免重複試誤。」蘇緯倫表示。「例如,我們使用 Vertex AI 中的文字轉語音模型,在兩天內就開發出了一個語音模擬的模型框架。如果由我們自己從零開始訓練模型,開發過程可能需要三個月。」
除此之外,Vertex AI 的生成式 AI 工具也協助橘子集團提高了工作效率。橘子集團的資料分析師現在使用 Vertex AI 的 Gemini 1.5 Flash 批次執行 BigQuery 中的語意分析,不需要請 AI 工程師構建語意分析模型,就能大幅縮短分析所需的時間。
從 2024 年第四季開始,橘子集團將善用自身頂尖的 AI 創新能力,透過企業服務品牌 Vyin AI 開始向台灣、東南亞、北美等地各行業的企業提供 AI 解決方案。同時,橘子集團也計畫擴大對 Gemini 模型的使用,自動生成圖片、優化工作流,進一步提高員工的生產力。
陳冠宇說:「過去四年來,我們運用 Google Cloud 實現了高效率的資料處理,開發出創新的 AI 解決方案,不斷提升我們的 AI 能力。我們相信企業客戶在使用我們部署在 Google Cloud 上的 AI 服務之後,也能得到同等、甚至更多的益處。」
橘子集團跨足遊戲、支付、電商、媒體、數位商務與新創等多元領域,並以 AI、大數據、平台為發展核心,建構出完整的全生態網路企業版圖。2024 年,橘子集團旗下 AI 創新實驗室推出企業服務品牌 Vyin AI,提供全方位的 AI 解決方案。
產業別: 遊戲
地區: 台灣
使用產品及服務: BigQuery, Vertex AI, Cloud Storage, Compute Engine, Dataflow, Dataproc, Google Kubernetes Engine, Pub/Sub