• 非同步處理：預測結果會按照預先定義的排程 (例如每小時、每天) 或依需求產生，而不是在新資料傳入時即時生成
• 高處理量：系統經過最佳化調整，可在單次執行中處理大量資料點，因此效率極高
• 成本效益：排定執行時間，在運算資源最充裕或最便宜時使用，大幅降低營運成本
• 延遲容忍度：主要假設是，使用預測結果的應用程式不需要立即取得答案，可接受在資料收集和預測生成之間延遲數分鐘或數小時

在設計機器學習系統時，選擇批次或線上推論是基本的架構決策。每種做法都有不同用途，並針對不同的效能特性進行最佳化。

批次推論管道是結構化的自動化工作流程，可將原始資料轉為可做為行動依據的預測結果。這個程序可分為以下幾個主要步驟，通常由工作流程管理工具或排程系統協調。

首先，隨著時間累積資料。這類輸入資料可包含使用者活動記錄、交易記錄或感應器讀數，並從各種來源收集，然後儲存在集中位置。這通常是在 Google Cloud Storage 等服務建構的資料湖泊，或是 BigQuery 等資料倉儲。

推論管道由觸發條件啟動。觸發條件可以是：

• 時間導向：排程器 (例如 Cron 工作) 會以固定間隔啟動工作，例如每天凌晨 1 點。
• 事件導向：工作會因應特定事件而啟動，例如 Cloud Storage bucket 中出現新的資料檔案

觸發工作後，會載入整批原始輸入資料。接著，執行必要的預先處理和特徵工程步驟，將資料轉換為機器學習模型預期的精確格式。包括清理遺漏值、縮放數值特徵，以及編碼類別變數等工作。

系統會從中央存放區 (例如 Vertex AI Model Registry) 擷取經過訓練的機器學習模型。接著，模型會接收預先處理的批次資料，對資料集中的每個觀測值執行推論，生成對應的預測結果。

接著，模型的輸出內容 (預測結果集合) 會寫入儲存系統。目的地是根據預測結果的用途而定。常見的目的地包括將結果載入 BigQuery 資料表進行分析、載入 Cloud SQL 資料庫供應用程式快速查詢，或是儲存為 Cloud Storage 中的檔案。

預測結果已儲存並準備就緒，下游系統可以開始使用。商業智慧工具可能會查詢結果，建立預測顧客行為的資訊主頁。例如，網頁應用程式的後端可能會載入預先計算的產品推薦，向使用者顯示；行銷自動化平台可能會提取預測會流失的客戶名單，以新廣告活動鎖定這些客戶。

許多核心業務程序會使用批次推論，因為這類程序不需要即時生成預測，只要預測能提升產品或服務即可。這種做法在各行各業都能有效解決大規模資料問題。

Vertex AI 是 Google Cloud 的代管機器學習平台，提供簡化的無伺服器批次推論方法。這個程序著重於設定工作，讓平台處理底層基礎架構。

開始前，請先準備好以下三項要件：

• 訓練好的模型，應上傳至 Vertex AI Model Registry
• 輸入資料，格式必須符合模型要求；這類資料應位於 Google Cloud Storage (例如 JSON 或 CSV 檔案) 或 BigQuery 資料表中
• 輸出內容的目的地位置，同樣是 Cloud Storage bucket 或 BigQuery 資料表

您可以使用 Google Cloud 控制台、gcloud 指令列工具或 Vertex AI SDK，以程式輔助方式啟動工作。建立工作時，請提供下列設定：

• 您想使用的 Model Registry 特定模型
• 輸入資料的路徑和輸出結果的位置
• 您要用於工作的機型和加速器 (例如 GPU)，可讓您在成本和效能之間取得平衡

提交工作後，Vertex AI 會接手處理。系統會自動佈建您指定的運算資源，透過模型執行輸入資料、生成預測結果，並將結果儲存至您指定的輸出位置。工作完成後，Vertex AI 會自動將所有資源縮減為零，因此您只需根據實際使用的運算時間付費。您可以直接在 Google Cloud 控制台中監控工作進度並查看記錄。

工作狀態顯示為「成功」後，預測結果就準備就緒了。現在，下游應用程式、分析工具或商業智慧 (BI) 資訊主頁都能存取 Cloud Storage 中的輸出檔案，或 BigQuery 中的新資料表。