線上與批次預測

AI Platform 提供兩種從訓練模型取得預測的方法:「線上預測」(有時稱為 HTTP 預測) 和「批次預測」。在這兩種情況下,您都可以將輸入資料傳遞給在雲端託管的機器學習模型,並取得每個資料樣本的推論。下表顯示兩者的差異:

線上預測 批次預測
經過最佳化,將提供預測的延遲縮到最短。 經過最佳化,可處理工作中的大量執行個體,並執行更複雜的模型。
能依照要求,處理一個或多個執行個體。 能依照要求,處理一個或多個執行個體。
在回應訊息中傳回預測。 在您指定的 Cloud Storage 位置中的輸出檔案寫入預測。
輸入資料做為 JSON 字串直接傳送。 輸入資料做為 Cloud Storage 位置中的一個或多個檔案 URI 間接傳送。
儘快傳回。 非同步要求。

具備下列 IAM 角色的帳戶可要求線上預測:

具備下列身分與存取權管理角色的帳戶可要求批次預測:

在執行階段版本上執行,位於您部署模型時選擇的地區。 使用任何可用的執行階段版本,在任何可用的地區中執行。針對已部署的模型版本,則應使用預設值執行。
執行部署到 AI Platform 的模型。 執行部署到 AI Platform 的模型,或儲存在可存取的 Google Cloud Storage 位置中的模型。
可從 TensorFlow SavedModel自訂預測處理常式 (Beta 版) 提供預測。 可從 TensorFlow SavedModel 提供預測。
每節點時數 $0.0401 至 $0.1349 (美元)。價格依照機器類型選擇而定。 每節點時數 $0.0791 (美元)

您的應用程式需求決定了您應使用的預測類型。

  • 提出要求以回應應用程式輸入,或是需要即時推論時,通常應使用線上預測。

  • 不需要立即的結果時,批次預測最適合處理累積的資料。例如,定期工作會取得從上一件工作以來所收集到的全部資料預測。

針對各預測成本中可能的差異,您也應告知所做決定。

批次預測延遲

如果您使用簡易模型和一小組輸入執行個體,您會發現針對,使用線上預測與批次預測完成相同預測要求所需的時間差距很大。批次工作可能需要數分鐘才能完成,而線上要求幾乎是立即傳回預測。這是採用不同基礎架構所產生的副作用。AI Platform 會在傳送要求時,為批次預測工作分配及初始化資源;線上預測通常在提出要求時就已準備進行處理。

後續步驟

如要進一步瞭解預測,請參閱預測總覽

或者,您也可以直接前往進行線上預測進行批次預測

本頁內容對您是否有任何幫助?請提供意見:

傳送您對下列選項的寶貴意見...

這個網頁
TensorFlow 適用的 AI Platform