什麼是 AI 推論？

完整的 AI 生命週期涵蓋資料收集，到長期監控等所有環節，而模型從建立到執行的核心歷程，則有三個主要階段。前兩個階段的重點在於學習，最後一個階段是發揮所學。

• AI 訓練是基礎學習階段。這項程序需要大量運算資源，模型會分析龐大的資料集，從中學習模式和關係。這個階段的目標是建立準確且知識豐富的模型，需要強大的硬體加速器 (例如 GPU 和 TPU)，且可能耗費數小時到數週的時間。
• AI 微調是快速訓練模型的方式，以較小的專用資料集，調整強大的預先訓練模型，以便運用於特定工作。相較於從頭開始訓練模型，微調方式可大幅節省時間和資源。
• AI 推論為執行階段，這個程序會使用經過訓練和微調的模型，針對新的「未知」資料快速做出預測。雖然一項預測的運算需求遠低於訓練程序，但要即時提供數百萬則預測，仍需要經全面最佳化且可擴充的基礎架構。
• AI 提供是指部署及管理模型，以便用於推論的程序。這個程序通常需要封裝模型、設定 API 端點，以及管理基礎架構來處理要求。

下表概略說明主要差異：

AI 推論的核心，是將新資料轉換為實用的輸出內容，過程包含三個步驟。

以下用「AI 模型辨識相片中的物件」來簡單說明。

1. 準備輸入資料：首先，使用者會提供新資料，例如您剛才提交的相片。這張相片會立即經過預先處理，以利模型使用，例如將相片尺寸調整為模型訓練時使用的確切尺寸。
2. 執行模型：接著，AI 模型會分析準備好的相片，尋找訓練期間學到的模式，例如顏色、形狀和紋理。這項快速分析作業稱為「前向傳播」，並且是唯讀步驟，模型會應用所學知識，但不會學習任何新內容。
3. 生成輸出內容：模型會生成實用的結果；在相片分析中，這可能是機率分數 (例如圖片有 95% 的機率包含「狗」)。接著，系統會將輸出內容傳送至應用程式，供使用者查看。

雖然單次推論速度很快，但模型可能要即時服務數百萬名使用者，這時延遲時間和成本就會增加，因此需要使用最佳化硬體。AI 專用的圖形處理器 (GPU) 和 Google 的 Tensor Processing Unit 專門用來高效處理這些工作，並由 Google Kubernetes Engine 自動調度管理，可提高處理量及降低延遲。

這是最常見的做法，即在資料中心的強大遠端伺服器上執行推論。雲端具備極佳的擴充性和運算資源，非常適合處理龐大的資料集和複雜模型。雲端推論通常有兩種主要模式：

• 即時 (線上) 推論：在收到個別要求的數毫秒內立即處理。對於需要即時回饋的互動式應用程式而言，這點至關重要。
• 批次 (離線) 推論：可同時處理大量資料，通常用於不需要立即回應的情況。對於定期分析或排程工作來說，這是極具成本效益的做法。

這是指在生成資料的裝置上直接執行推論，例如智慧型手機或工業感應器。邊緣推論可避免資料往返雲端，因此具備獨特優勢：

• 降低延遲：回應速度近乎即時，對於自動駕駛或即時製造檢查等應用程式至關重要。
• 強化隱私：敏感資料 (例如醫療掃描結果、個人相片、視訊畫面) 可在裝置上處理，完全不必傳送至雲端。
• 降低頻寬成本：在本地處理資料可大幅減少上傳和下載的資料量。
• 離線功能：即使沒有網路連線，應用程式仍可繼續運作，確保在偏遠或斷線環境中也能持續作業。

為協助您根據自身需求選擇最佳做法，以下簡要比較各類 AI 推論技術的主要特色和用途：

AI 推論涉及一系列特有的技術難題，包括管理延遲、控制成本和確保擴充性。Google Cloud 提供彈性的推論作業選項，讓您根據模型的複雜度、效能需求和作業能力，挑選合適的工具。您可以從全代管解決方案著手，並隨著需求變化，逐步採用更客製化的基礎架構。

無論開發人員的 AI 經驗多寡，都透過這個做法快速整合強大的 AI 功能，只需發出簡單的 API 呼叫，不必管理任何模型或基礎架構。

這個選項適用於已建構自訂模型的開發人員。將模型部署至 Google Cloud 的代管服務後，您就不必自行處理複雜的伺服器設定或自動化調度作業，只需專注於模型，不必煩惱基礎架構。

開發人員和 MLOps 團隊可在雲端或混合式環境中，精細控管及靈活部署、管理和擴充自訂容器化推論服務，且通常可使用專屬硬體。

如果您使用 SQL，現在起可以在資料儲存位置，直接取得 AI 模型的預測結果，不必將資料移至其他平台，工作流程因而簡化。