从自定义训练模型获取预测结果

预测结果是经过训练的机器学习模型的输出。本页面简要介绍了在 Vertex AI 上从模型获取预测结果的工作流。

Vertex AI 提供两种获取预测结果的方法:

  • 在线预测是指向模型 endpoint 发出同步请求。在发送请求之前,您必须先将 model 资源部署到 endpoint。这会将计算资源与模型相关联,以便以低延迟方式执行在线预测。如果您要发出请求以响应应用输入,或者在其他需要及时推断的情况下,可以使用在线预测。

  • 批量预测是异步请求。您可以直接从 model 资源请求 batchPredictionsJob,而无需将模型部署到端点。如果您不需要立即响应并且希望使用单个请求处理累积的数据,可使用批量预测。

在本地测试模型

在获取预测结果之前,在开发和测试阶段将您的模型部署到本地端点会很有用。这样,您就可以更快地迭代并测试模型,而无需将其部署到在线端点,也不会产生预测费用。本地部署适用于本地开发和测试,而不是用于生产部署。

如需在本地部署模型,请使用 Python 版 Vertex AI SDK 并将 LocalModel 部署到 LocalEndpoint。 如需查看演示,请参阅此笔记本

即使您的客户端不是用 Python 编写的,您仍然可以使用 Python 版 Vertex AI SDK 来启动容器和服务器,以测试来自客户端的请求。

从自定义训练模型获取预测结果

如需获取预测结果,您必须先导入模型。导入后,它将成为在 Vertex AI Model Registry 中显示的 model 资源。

然后,阅读以下文档以了解如何获取预测结果:

后续步骤