Vertex AI ofrece predicciones online en Google Distributed Cloud (GDC) aislado mediante la API Online Prediction. Una predicción es el resultado de un modelo de aprendizaje automático entrenado. En concreto, las predicciones online son solicitudes síncronas que se envían al endpoint de tu modelo.
La predicción online te permite subir, desplegar, servir y hacer solicitudes con tus propios modelos de predicción en un conjunto de contenedores compatibles. Usa la predicción online cuando hagas solicitudes en respuesta a la entrada de una aplicación o en situaciones que requieran inferencias oportunas.
Puedes usar la API Online Prediction aplicando recursos personalizados de Kubernetes al clúster de predicción específico que tu operador de infraestructura (IO) crea para ti.
Antes de obtener predicciones online, debes exportar los artefactos del modelo y desplegar el modelo en un endpoint. Esta acción asocia recursos de computación al modelo para ofrecer predicciones online con baja latencia.
Después, puedes obtener predicciones online a partir de un modelo con entrenamiento personalizado dando formato y enviando una solicitud.
Imágenes de contenedor disponibles
En la siguiente tabla se muestra la lista de contenedores admitidos para la predicción online en Distributed Cloud:
| Framework de aprendizaje automático | Versión | Aceleradores compatibles | Imágenes compatibles |
|---|---|---|---|
| TensorFlow | 2.14 | CPU | tf2-cpu.2-14 |
| GPU | tf2-gpu.2-14 | ||
| PyTorch | 2,4 | CPU | pytorch-cpu.2-4 |
| GPU | pytorch-gpu.2-4 | ||
| 2.1 (OBSOLETO) | CPU | pytorch-cpu.2-1 | |
| GPU | pytorch-gpu.2-1 |