预测结果是经过训练的机器学习模型的输出。本页面简要介绍了在 Vertex AI 上从模型获取预测结果的工作流。
Vertex AI 提供两种获取预测结果的方法:
在线预测是指向部署到
endpoint
的模型发出同步请求。因此,在发送请求之前,您必须先将Model
资源部署到端点。这会将计算资源与模型相关联,以便以低延迟方式执行在线预测。如果您要发出请求以响应应用输入,或者在其他需要及时推断的情况下,可以使用在线预测。批量预测是指向未部署到端点的模型发出的异步请求。您可以将请求(作为
BatchPredictionsJob
资源)直接发送到Model
资源。如果您不需要立即响应并且希望使用单个请求处理累积的数据,可使用批量预测。
在本地测试模型
在获取预测结果之前,在开发和测试阶段将您的模型部署到本地端点会很有用。这样,您就可以更快地迭代并测试模型,而无需将其部署到在线端点,也不会产生预测费用。本地部署适用于本地开发和测试,而不是用于生产部署。
如需在本地部署模型,请使用 Python 版 Vertex AI SDK 并将 LocalModel
部署到 LocalEndpoint
。
如需查看演示,请参阅此笔记本。
即使您的客户端不是用 Python 编写的,您仍然可以使用 Python 版 Vertex AI SDK 来启动容器和服务器,以测试来自客户端的请求。
从自定义训练模型获取预测结果
如需获取预测结果,您必须先导入模型。导入后,它将成为在 Vertex AI Model Registry 中显示的 Model
资源。
然后,阅读以下文档以了解如何获取预测结果:
后续步骤
- 了解用于预测的计算资源。