什麼是 AI 推論？

完整的 AI 生命週期涵蓋資料收集，到長期監控等所有環節，而模型從建立到執行的核心歷程，則有三個主要階段。前兩個階段的重點在於學習，最後一個階段是發揮所學。

• AI 訓練是基礎學習階段。這項程序需要大量運算資源，模型會分析龐大的資料集，從中學習模式和關係。這個階段的目標是建立準確且知識豐富的模型，需要強大的硬體加速器 (例如 GPU 和 TPU)，且可能耗費數小時到數週的時間。
• AI 微調是快速訓練模型的方式，以較小的專用資料集，調整強大的預先訓練模型，以便運用於特定工作。相較於從頭開始訓練模型，微調方式可大幅節省時間和資源。
• AI 推論為執行階段，這個程序會使用經過訓練和微調的模型，針對新的「未知」資料快速做出預測。雖然一項預測的運算需求遠低於訓練程序，但要即時提供數百萬則預測，仍需要經全面最佳化且可擴充的基礎架構。
• AI 提供是指部署及管理模型，以便用於推論的程序。這個程序通常需要封裝模型、設定 API 端點，以及管理基礎架構來處理要求。

下表概略說明主要差異：

AI 推論的核心，是將新資料轉換為實用的輸出內容，過程包含三個步驟。

以下用「AI 模型辨識相片中的物件」來簡單說明。

1. 準備輸入資料：首先，使用者會提供新資料，例如您剛才提交的相片。這張相片會立即經過預先處理，以利模型使用，例如將相片尺寸調整為模型訓練時使用的確切尺寸。
2. 執行模型：接著，AI 模型會分析準備好的相片，尋找訓練期間學到的模式，例如顏色、形狀和紋理。這項快速分析作業稱為「前向傳播」，並且是唯讀步驟，模型會應用所學知識，但不會學習任何新內容。
3. 生成輸出內容：模型會生成實用的結果；在相片分析中，這可能是機率分數 (例如圖片有 95% 的機率包含「狗」)。接著，系統會將輸出內容傳送至應用程式，供使用者查看。

雖然單次推論速度很快，但模型可能要即時服務數百萬名使用者，這時延遲時間和成本就會增加，且需要經過最佳化的硬體。AI 專用的圖形處理器 (GPU) 和 Google 的 Tensor Processing Unit 專門用來高效處理這些工作，並由 Google Kubernetes Engine 自動調度管理，可提高處理量及降低延遲。

這是最常見的做法，即在資料中心的強大遠端伺服器上執行推論。雲端具備極佳的擴充性和運算資源，非常適合處理龐大的資料集和複雜模型。雲端推論通常有兩種主要模式：

• 即時 (線上) 推論：在收到個別要求的數毫秒內立即處理。對於需要即時回饋的互動式應用程式而言，這點至關重要。
• 批次 (離線) 推論：可同時處理大量資料，通常用於不需要立即回應的情況。對於定期分析或排程工作來說，這是極具成本效益的做法。

這指的是在生成資料的裝置上直接執行推論，例如智慧型手機或工業感應器。邊緣推論可避免資料往返雲端，因此具備獨特優勢：

• 降低延遲：回應速度近乎即時，對於自動駕駛或即時製造檢查等應用程式至關重要。
• 強化隱私：敏感資料 (例如醫療掃描結果、個人相片、視訊畫面) 可在裝置上處理，完全不必傳送至雲端。
• 降低頻寬成本：在本地處理資料可大幅減少上傳和下載的資料量。
• 離線功能：即使沒有網路連線，應用程式仍可繼續運作，確保在偏遠或斷線環境中也能持續作業。

為協助您根據自身需求選擇最佳做法，以下簡要比較各類 AI 推論技術的主要特色和用途：

Google Cloud 提供全套工具和服務，協助開發人員和組織有效率地大規模建構、部署及管理 AI 推論工作負載。推論功能已深度整合至多項服務：

Google Cloud 推出統合式 AI 平台 Vertex AI，集結一系列完善工具，幫助使用者建構、部署及管理機器學習模型，是滿足大部分雲端式推論需求的首選服務。