在 Vertex AI 上取得推論結果的總覽

推論是訓練完成的機器學習模型輸出內容。本頁面概略說明在 Vertex AI 上從模型取得推論結果的工作流程。

Vertex AI 提供兩種取得推論結果的方法：

  • 線上推論是對部署至 Endpoint 的模型發出的同步要求。因此，您必須先將 Model 資源部署至端點，才能傳送要求。這項操作會將運算資源與模型建立關聯，讓模型以低延遲的方式提供線上推論結果。如要依據應用程式輸入內容發出要求，或是需要及時進行推論，您可以選用「線上推論」模式。
  • 批次推論是對未部署至端點的模型發出的非同步要求。您直接將要求 (做為 BatchPredictionJob 資源) 傳送至 Model 資源。如果您不需要立即取得回應，並想透過單一要求處理累積的資料，就適合選用「批次推論」模式。

透過自訂訓練模型取得推論結果

如要取得推論結果，請先匯入模型。匯入後，模型會成為 Model 資源，並顯示在 Vertex AI Model Registry 中。

接著，請參閱下列說明文件，瞭解如何取得推論結果：

從 AutoML 模型取得推論結果

與自訂訓練模型不同，AutoML 模型會在訓練後自動匯入 Vertex AI Model Registry。

除此之外，AutoML 模型的工作流程類似，但會根據資料類型和模型目標略有不同。如要瞭解如何取得 AutoML 推論結果，請參閱其他 AutoML 說明文件。以下是說明文件的連結：

圖片

瞭解如何從下列類型的圖片 AutoML 模型取得推論結果：

表格

瞭解如何從下列類型的表格型 AutoML 模型取得推論結果：

從 BigQuery ML 模型取得推論結果

您可以透過兩種方式從 BigQuery ML 模型取得推論結果：

  • 直接從 BigQuery ML 中的模型要求批次推論。
  • 直接向 Model Registry 註冊模型，不必從 BigQuery ML 匯出模型，也不必將模型匯入 Model Registry。