本页面介绍如何使用 Vertex AI 评估模型。如需大致了解该工作流,请参阅 Vertex AI 中的模型评估。
前提条件
按照设置项目和开发环境中的步骤执行操作。此外,请启用以下服务:
Vertex AI 可以评估通过 AutoML 或自定义训练进行训练的模型。根据 Google Cloud 控制台指南,您应该将经过训练的模型导入 Vertex AI Model Registry。
将测试数据集上传到 BigQuery 或 Cloud Storage。测试数据集应包含标准答案,即预计的预测实际结果。获取指向文件或数据集 ID 的链接。
以 BigQuery 表或 Cloud Storage URI 的形式提供批量预测输出。
确保您的默认 Compute Engine 服务账号具有以下 IAM 权限:
- Vertex AI Administrator (
aiplatform.admin
) - Vertex AI Service Agent (
aiplatform.serviceAgent
) - Storage Object Admin (
storage.objectAdmin
) - Dataflow Worker (
dataflow.worker
) - BigQuery Data Editor (
bigquery.dataEditor
)(仅当您以 BigQuery 表的形式提供数据时才需要)
- Vertex AI Administrator (
创建评估
控制台
在 Google Cloud 控制台中,前往 Vertex AI 模型页面。
点击要评估的模型的名称。
点击模型的版本号。
在评估标签页上,点击创建评估。
输入评估名称。
选择一个目标,例如分类或回归。
输入评估目标列名称,这是训练数据中要针对其训练模型进行预测的列。
在选择来源部分,选择测试数据集的来源。
在 BigQuery 表部分,输入 BigQuery 路径。
在 Cloud Storage 上的文件部分,输入 Cloud Storage 路径。
在批量预测输出部分,选择一种输出格式。
- 输入 BigQuery 路径或 Cloud Storage URI。
点击开始评估。
Python
如需在 Vertex AI Pipelines 中查看 Vertex AI API 模型评估工作流,请参阅以下模型类型的示例笔记本:
Python SDK
使用 Vertex AI 评估模型的 SDK 尚处于实验阶段。如需注册该实验性功能,请填写新手入门表单。
Vertex AI 会在模型评估作业完成后自动发送电子邮件通知。
查看评估指标
控制台
在 Google Cloud 控制台中,前往 Vertex AI 模型页面。
导航到模型版本。
在评估标签页中查看指标。
Python
如需在 Vertex AI Pipelines 中查看 Vertex AI API 模型评估工作流,请参阅以下模型类型的示例笔记本:
Python SDK
使用 Vertex AI 评估模型的 SDK 尚处于实验阶段。如需注册该实验性功能,请填写新手入门表单。
比较评估指标
您可以对不同模型、模型版本和评估作业的评估结果进行比较。如需详细了解模型版本控制,请参阅 Model Registry 中的版本控制。
您只能比较相同类型的模型,例如分类、回归或预测。在比较不同的模型时,所有模型版本的类型必须相同。
一次最多只能比较 5 个评估。
前往 Google Cloud 控制台中的 Vertex AI Model Registry:
导航到您的模型或模型版本:
如需在模型页面上比较不同的模型,请选中要比较的模型名称旁边的复选框。
如需比较不同的模型版本,请执行以下操作:
点击模型页面上的模型名称以打开模型版本列表。
选中要比较的版本旁边的复选框。
如需比较同一模型版本的多个评估作业,请执行以下操作:
点击模型页面上的模型名称以打开模型版本列表。
点击版本号。
选中要比较的评估作业旁边的复选框。
点击比较。
后续步骤
- 了解如何迭代模型。