亞太智能機器：打造應用場景廣泛、高度擬真的 AI 助理
有關 亞太智能機器
亞太智能機器（APMIC）成立於 2017 年，是一家專精於自然語言處理技術的台灣科技公司，提供能將人機互動最佳化的企業級機器智能解決方案，協助提高客戶服務、文字分析和文件審查的效率。目前，亞太智能機器為 720 個橫跨不同產業的企業客戶提供服務，觸及位於台灣、馬來西亞、泰國和日本的 335 萬名使用者。
請告訴我們您遇到的挑戰，我們在此提供您協助。
聯絡我們透過使用 Google Cloud 開發並部署其自然語言處理解決方案，亞太智能機器實現了成本效益更高的機器學習訓練，以較低的營運成本提供可用性更高的服務。
Google 成效
- 使用 Vertex AI 得到更加收斂的模型訓練結果，提高機器學習訓練效率
- 將設置機器模型訓練環境的時間從一週縮短至一小時
- 運用 GKE 的 Autopilot 模式，減少 50% 的基礎架構維運工作量
- 採用 Cloud SQL 確保資料存取順暢，提升讀取效能
節省 50% 的機器學習相關營運成本
隨著大型語言模型的快速發展，聊天機器人、AI 文字處理工具等自然語言處理解決方案在各產業越來越受歡迎。面對激烈的市場競爭，這些軟體解決方案的開發商正運用最新技術，研發更強大且易於使用的 AI 服務。
自 2017 年成立起，亞太智能機器 （APMIC）便持續推進其自然語言處理技術，致力於將「人」與「機器」間的互動最佳化。透過模型即服務（MaaS）的形式，亞太智能機器提供數個企業級的機器智能解決方案，包括客製化聊天機器人 CaiGun，以及 AI 文本分析工具 JustDig。企業客戶透過亞太智能機器的引擎串連 API，就能輕鬆導入服務。目前，亞太智能機器為 720 個橫跨不同產業的企業客戶提供服務，觸及位於台灣、馬來西亞、泰國和日本的 335 萬名使用者。
「我們多年來不斷在改善我們的機器學習模型，協助企業更有效率地處理文件，提供更好的自動化客戶服務。」亞太智能機器創辦人兼執行長吳柏翰說。「我們高度擬真的虛擬助理可用於多樣化的應用場景，且非常易於使用。客戶不需要任何程式編寫或數據處理知識，就可以輕鬆導入我們的服務。」
開發頂尖的自然語言處理解決方案不只需要深厚的專業知識，也需要強大的運算資源。然而，亞太智能機器先前用於訓練機器學習模型的雲端平台的運算能力不足以支持其開發需求。為了改善產品性能和機器學習訓練流程，亞太智能機器在 2019 年決定將相關業務和服務遷移到 Google Cloud 上，因為 Google Cloud 具備先進的 GPU 和 TPU 資源，且 Google 在 AI 領域扮演著領導角色。
「我們需要業界領先的運算能力來提高我們的機器學習模型訓練效率，並持續提升我們虛擬助理的功能。Google Cloud 提供強大的 GPU 和 TPU 晶片，能滿足我們的開發需求，且由於 Google 對 AI 的重視，其 AI 技術一直不斷在快速演進。」
—亞太智能機器創辦人兼執行長 吳柏翰使用 Vertex AI 提升機器學習訓練效率
亞太智能機器起初使用 Compute Engine 的虛擬機器來建構機器學習模型的訓練環境。吳柏翰指出，在團隊先前使用的雲端平台上，為機器學習訓練建構運算基礎架構十分具有挑戰性，因為必須確認操作系統、GPU 套件和軟體函式庫之間的兼容性，避免出現版本不相容的情況。除此之外，先前雲端平台提供的 GPU 晶片記憶體容量不足以支持語言模型訓練，推遲了亞太智能機器團隊的開發進度。Compute Engine 的底層基礎架構已經搭配好特定操作系統版本，不需要額外花時間設定，並提供英偉達 A100 等先進 GPU 晶片，協助加快亞太智能機器訓練機器學習模型的速度。
為了進一步提高機器學習訓練效率，亞太智能機器隨後將相關業務遷移至 Vertex AI 上。Vertex AI 不只具備 Compute Engine 的強大運算資源，還提供從資料導入到模型推理的完整步驟和指南。透過自動調整參數的功能，Vertex AI 也協助提高了亞太智能機器語言模型的收斂率，減少重複訓練的時間。此外，Vertex AI 的 API 能讓訓練好的模型快速地分享給亞太智能機器的客戶測試，簡化開發流程。
「Vertex AI 提供頂尖的運算能力和簡化的訓練流程，大幅提升了我們機器學習訓練的效率。」吳柏翰表示。「在遷移到 Google Cloud 之前，我們的工程師需要一週才能建構好一個機器學習訓練環境。在 Vertex AI 上，整個設置過程只需要一小時就能完成。現在，我們只需要一至兩名數據工程師就能訓練一個大型語言模型。之前，這需要一個 10 名工程師的團隊才能做到。」
支持功能多元的高度擬真虛擬助
除了提高機器學習訓練效率之外，使用 Vertex AI 也讓亞太智能機器得以輕鬆地提升其 AI 服務。Model Garden on Vertex AI 提供多樣的既有模型，支持光學字元辨識（OCR）和語音文字互轉等功能，便於亞太智能機器的團隊調用，快速滿足客戶的不同需求。另一方面，採用 PaLM 2 也協助亞太智能機器打造支持多國語言的優質聊天機器人。根據亞太智能機器的內部測試，PaLM 2 的回應速度比其他競品快了一到兩倍，且回覆內容更為精準詳細。
「我們對於 Google 的 AI 技術有著高度信心。透過使用 Vertex AI，我們得以輕鬆地運用業界最新技術，提供高品質的 AI 服務，像是由 PaLM 2 支持的高度擬真虛擬助理。」吳柏翰說。
減半的成本，更高的服務可用性
對於亞太智能機器來說，使用 Google Cloud 的另一個顯著好處來自於全託管和高度自動化的基礎架構工具。在 Vertex AI 中訓練完語言模型之後，亞太智能機器將大部分的自然語言處理服務部署在 Google Kubernetes Engine (GKE) 中，並使用 Cloud Run 和 Cloud Functions 運行流量較高的 API 服務。由於這些工具的資源都可以按實際需求調用，不像虛擬機器必須以機器為單位啟用，亞太智能機器得以節省一半的相關營運成本。
使用 GKE 運行機器學習服務也帶來了更高的可用性。基礎架構可用性對於亞太智能機器的業務十分重要，因為機器學習模型推理需要不間斷的運算資源支持。在遷移到 Google Cloud 之前，亞太智能機器用來部署模型的伺服器每幾個月會遭遇一次停機，團隊必須在停機發生之前將服務遷移到新機器上，以維持機器學習模型推理的運作，提供順暢服務。遷移到 Google Cloud 之後，亞太智能機器的基礎架構便不曾遭遇任何停機，且團隊得以使用 GKE Autopilot 將節點管理和伸縮自動化，達到更高的服務可用性，並降低 50% 的維運工作量。現在，亞太智能機器只需要一位工程師一半的工作時間，就能處理其 720 個企業客戶所有機器學習專案的維運工作。
亞太智能機器服務的高可用性也來自 Cloud SQL 的支持。亞太智能機器使用 Cloud SQL 儲存機器學習訓練資料和客戶的使用者資料。在遷移之前，亞太智能機器的資料庫會在大量資料寫入時崩潰，造成每兩到三個月一次的服務中斷。Cloud SQL 的高擴展性避免了類似事件發生，且透過建立讀取副本供更多人使用，亞太智能機器也得以提高資料讀取的成本效益。
打造易於客製化、更強大的語言模型
隨著生成式 AI 技術快速演進，亞太智能機器將擴大其自然語言處理服務的應用範圍，讓客戶能在其平台上自行訓練符合需求的機器學習模型，並提供能客製化樣貌和聲音的虛擬人服務。此外，亞太智能機器也將測試 Google 即將推出的大型語言模型，探索進一步提升機器學習服務的方式。
吳柏翰表示：「自然語言處理是一個成長快速且競爭激烈的領域。運用 Google Cloud 先進的 AI 技術和高性能雲端基礎架構，我們成功地改善了機器學習產品的研發和運營。隨著技術演進，我們相信我們將能持續提升我們機器學習服務的功能和品質。」
請告訴我們您遇到的挑戰，我們在此提供您協助。
聯絡我們
有關 亞太智能機器
亞太智能機器（APMIC）成立於 2017 年，是一家專精於自然語言處理技術的台灣科技公司，提供能將人機互動最佳化的企業級機器智能解決方案，協助提高客戶服務、文字分析和文件審查的效率。目前，亞太智能機器為 720 個橫跨不同產業的企業客戶提供服務，觸及位於台灣、馬來西亞、泰國和日本的 335 萬名使用者。