使用 Vertex AI 評估模型

本頁說明如何使用 Vertex AI 評估模型。如需總覽，請參閱 Vertex AI 的模型評估。

必要條件

  1. 按照「設定專案和開發環境」中的步驟操作。 此外，請啟用下列服務：

  2. Vertex AI 可以評估透過 AutoML 或自訂訓練訓練的模型。如要使用 Google Cloud 控制台指南，您應將訓練好的模型匯入 Vertex AI Model Registry。

  3. 將測試資料集上傳至 BigQuery 或 Cloud Storage。測試資料集應包含真值，也就是推論的預期實際結果。取得檔案連結或資料集 ID。

  4. 以 BigQuery 資料表或 Cloud Storage URI 的形式，取得批次推論輸出。

  5. 請確認預設的 Compute Engine 服務帳戶具有下列 IAM 權限：

    • Vertex AI 管理員 (aiplatform.admin)
    • Vertex AI 服務代理 (aiplatform.serviceAgent)
    • Storage 物件管理員 (storage.objectAdmin)
    • Dataflow 工作者 (dataflow.worker)
    • BigQuery 資料編輯者 (bigquery.dataEditor) (僅在您以 BigQuery 資料表形式提供資料時需要)

建立評估作業

控制台

  1. 前往 Google Cloud 控制台的 Vertex AI Models 頁面。

    前往「模型」頁面

  2. 按一下您要評估的模型名稱。

  3. 按一下模型的版本號碼。

  4. 在「評估」分頁中，按一下「建立評估」。

  5. 輸入評估名稱。

  6. 選取「目標」，例如分類或迴歸。

  7. 輸入評估目標資料欄名稱，也就是訓練資料中的資料欄，訓練後的模型會預測這些訓練資料。

  8. 在「選取來源」中，選取測試資料集的來源。

    1. 在「BigQuery table」(BigQuery 資料表) 中輸入 BigQuery 路徑。

    2. 在「File on Cloud Storage」(Cloud Storage 中的檔案) 中，輸入 Cloud Storage 路徑。

  9. 在「輸出批次預測結果」部分，選取輸出格式。

    1. 輸入 BigQuery 路徑或 Cloud Storage URI。

  10. 按一下「開始評估」。

Python

如要在 Vertex AI Pipelines 中查看 Vertex AI API 模型評估工作流程，請參閱下列模型類型的範例筆記本：

Python SDK

使用 Vertex AI 評估模型的 SDK 處於實驗階段。如要申請加入實驗功能，請填寫合作夥伴協議表單。

模型評估工作完成後，Vertex AI 會自動傳送電子郵件通知。

查看評估指標

控制台

  1. 前往 Google Cloud 控制台的 Vertex AI Models 頁面。

    前往「模型」頁面

  2. 前往模型版本。

  3. 在「評估」分頁中查看指標。

Python

如要在 Vertex AI Pipelines 中查看 Vertex AI API 模型評估工作流程，請參閱下列模型類型的範例筆記本：

Python SDK

使用 Vertex AI 評估模型的 SDK 處於實驗階段。如要申請加入實驗功能，請填寫合作夥伴協議表單。

比較評估指標

您可以比較不同模型、模型版本和評估工作的評估結果。如要進一步瞭解模型版本管理，請參閱「模型登錄中的版本管理」。

您只能比較相同類型的模型，例如分類、迴歸或預測。比較不同模型時，所有模型版本都必須是相同類型。

一次最多只能比較 5 項評估。

  1. 在 Google Cloud 控制台中前往 Vertex AI Model Registry：

    前往「模型」頁面

  2. 前往模型或模型版本：

    • 如要在「模型」頁面比較不同模型，請選取要比較的模型名稱旁的核取方塊。

    • 如要比較不同模型版本，請按照下列步驟操作：

      1. 在「模型」頁面上按一下模型名稱，開啟模型版本清單。

      2. 選取要比較的版本旁邊的核取方塊。

    • 如要比較相同模型版本的評估工作：

      1. 在「模型」頁面上按一下模型名稱，開啟模型版本清單。

      2. 按一下版本號碼。

      3. 找出要比較的評估作業，然後勾選旁邊的核取方塊。

  3. 按一下 [Compare] (比較) 。

後續步驟