使用 Vertex AI 评估模型

本页面介绍如何使用 Vertex AI 评估模型。如需大致了解该工作流，请参阅 Vertex AI 中的模型评估。

前提条件

  1. 按照设置项目和开发环境中的步骤执行操作。此外，请启用以下服务：

  2. Vertex AI 可以评估通过 AutoML 或自定义训练进行训练的模型。根据 Google Cloud 控制台指南，您应该将经过训练的模型导入 Vertex AI Model Registry。

  3. 将测试数据集上传到 BigQuery 或 Cloud Storage。测试数据集应包含标准答案，即预计的推理实际结果。获取指向文件或数据集 ID 的链接。

  4. 以 BigQuery 表或 Cloud Storage URI 的形式提供批量推理输出。

  5. 确保您的默认 Compute Engine 服务账号具有以下 IAM 权限：

    • Vertex AI Administrator (aiplatform.admin)
    • Vertex AI Service Agent (aiplatform.serviceAgent)
    • Storage Object Admin (storage.objectAdmin)
    • Dataflow Worker (dataflow.worker)
    • BigQuery Data Editor (bigquery.dataEditor)（仅当您以 BigQuery 表的形式提供数据时才需要）

创建评估

控制台

  1. 在 Google Cloud 控制台中，前往 Vertex AI“模型”页面。

    转到“模型”页面

  2. 点击要评估的模型的名称。

  3. 点击模型的版本号。

  4. 在评估标签页上，点击创建评估。

  5. 输入评估名称。

  6. 选择一个目标，例如分类或回归。

  7. 输入评估目标列名称，这是训练数据中要针对其训练模型进行预测的列。

  8. 在选择来源部分，选择测试数据集的来源。

    1. 在 BigQuery 表部分，输入 BigQuery 路径。

    2. 在 Cloud Storage 上的文件部分，输入 Cloud Storage 路径。

  9. 在批量预测输出部分，选择一种输出格式。

    1. 输入 BigQuery 路径或 Cloud Storage URI。

  10. 点击开始评估。

Python

如需在 Vertex AI Pipelines 中查看 Vertex AI API 模型评估工作流，请参阅以下模型类型的示例笔记本：

Python SDK

使用 Vertex AI 评估模型的 SDK 尚处于实验阶段。如需注册该实验性功能，请填写新手入门表单。

Vertex AI 会在模型评估作业完成后自动发送电子邮件通知。

查看评估指标

控制台

  1. 在 Google Cloud 控制台中，前往 Vertex AI“模型”页面。

    转到“模型”页面

  2. 导航到模型版本。

  3. 在评估标签页中查看指标。

Python

如需在 Vertex AI Pipelines 中查看 Vertex AI API 模型评估工作流，请参阅以下模型类型的示例笔记本：

Python SDK

使用 Vertex AI 评估模型的 SDK 尚处于实验阶段。如需注册该实验性功能，请填写新手入门表单。

比较评估指标

您可以对不同模型、模型版本和评估作业的评估结果进行比较。如需详细了解模型版本控制，请参阅 Model Registry 中的版本控制。

您只能比较相同类型的模型，例如分类、回归或预测。在比较不同的模型时，所有模型版本的类型必须相同。

一次最多只能比较 5 个评估。

  1. 前往 Google Cloud 控制台中的 Vertex AI Model Registry：

    转到“模型”页面

  2. 导航到您的模型或模型版本：

    • 如需在模型页面上比较不同的模型，请选中要比较的模型名称旁边的复选框。

    • 如需比较不同的模型版本，请执行以下操作：

      1. 点击模型页面上的模型名称以打开模型版本列表。

      2. 选中要比较的版本旁边的复选框。

    • 如需比较同一模型版本的多个评估作业，请执行以下操作：

      1. 点击模型页面上的模型名称以打开模型版本列表。

      2. 点击版本号。

      3. 选中要比较的评估作业旁边的复选框。

  3. 点击比较。

后续步骤