从自定义训练模型获取预测结果

预测结果是经过训练的机器学习模型的输出。本页面简要介绍了在 Vertex AI 上从模型获取预测结果的工作流。

Vertex AI 提供两种获取预测结果的方法：

  • 在线预测是指向模型 endpoint 发出同步请求。在发送请求之前，您必须先将 model 资源部署到 endpoint。这会将计算资源与模型相关联，以便以低延迟方式执行在线预测。如果您要发出请求以响应应用输入，或者在其他需要及时推断的情况下，可以使用在线预测。

  • 批量预测是异步请求。您可以直接从 model 资源请求 batchPredictionsJob，而无需将模型部署到端点。如果您不需要立即响应并且希望使用单个请求处理累积的数据，可使用批量预测。

在本地测试模型

在获取预测结果之前，在开发和测试阶段将您的模型部署到本地端点会很有用。这样，您就可以更快地迭代并测试模型，而无需将其部署到在线端点，也不会产生预测费用。本地部署适用于本地开发和测试，而不是用于生产部署。

如需在本地部署模型，请使用 Python 版 Vertex AI SDK 并将 LocalModel 部署到 LocalEndpoint。 如需查看演示，请参阅此笔记本。

即使您的客户端不是用 Python 编写的，您仍然可以使用 Python 版 Vertex AI SDK 来启动容器和服务器，以测试来自客户端的请求。

从自定义训练模型获取预测结果

如需获取预测结果，您必须先导入模型。导入后，它将成为在 Vertex AI Model Registry 中显示的 model 资源。

然后，阅读以下文档以了解如何获取预测结果：

后续步骤