概览:在 Vertex AI 上进行推理

推理结果是经过训练的机器学习模型的输出。本页面简要介绍了在 Vertex AI 上从模型获取推理结果的工作流。

Vertex AI 提供两种获取推理结果的方法:

  • 在线推理是指向部署到 Endpoint 的模型发出的同步请求。因此,在发送请求之前,您必须先将 Model 资源部署到端点。这会将计算资源与模型相关联,以便模型以低延迟方式执行在线推理。如果您要发出请求以响应应用输入,或者在其他需要及时推理的情况下,可以使用在线推理。
  • 批量推理是指向未部署到端点的模型发出的异步请求。您可以将请求(作为 BatchPredictionJob 资源)直接发送到 Model 资源。如果您不需要立即响应并且希望使用单个请求处理累积的数据,可使用批量推理。

从自定义训练模型获取推理结果

如需获取推理结果,您必须先导入模型。导入后,它将成为在 Vertex AI Model Registry 中显示的 Model 资源。

然后,阅读以下文档以了解如何获取推理结果:

从 AutoML 模型获取推理结果

与自定义训练模型不同,AutoML 模型会在训练后自动导入 Vertex AI Model Registry。

除此之外,AutoML 模型的工作流是类似的,但会因数据类型和模型目标而略有不同。用于获取 AutoML 推理结果的文档与其他 AutoML 文档放在一起。以下是相关文档的链接:

图片

了解如何从以下类型的图片 AutoML 模型获取推理结果:

表格

了解如何从以下类型的表格 AutoML 模型中获取推理结果:

从 BigQuery ML 模型获取推理结果

您可以通过以下两种方式从 BigQuery ML 模型获取推理结果:

  • 直接从 BigQuery ML 模型请求批量推理结果。
  • 直接将模型注册到 Model Registry,而无需从 BigQuery ML 导出模型或将其导入 Model Registry。