Obtenir des prédictions à partir d'un modèle entraîné personnalisé

Une prédiction est le résultat d'un modèle de machine learning entraîné. Cette page présente le workflow permettant d'obtenir des prédictions à partir de vos modèles sur Vertex AI.

Vertex AI propose deux méthodes pour obtenir des prédictions :

  • Les prédictions en ligne sont des requêtes synchrones adressées à un modèle déployé sur un endpoint. Par conséquent, avant d'envoyer une requête, vous devez d'abord déployer la ressource Model sur un point de terminaison. Cette opération associe des ressources de calcul au modèle afin qu'il puisse diffuser des prédictions en ligne avec une faible latence. Utilisez les prédictions en ligne pour effectuer des requêtes en réponse à des entrées d'application ou dans des situations nécessitant une inférence rapide.

  • Les prédictions par lots sont des requêtes asynchrones adressées à un modèle non déployé sur un point de terminaison. Vous envoyez la requête (en tant que ressource BatchPredictionsJob) directement à la ressource Model. Utilisez les prédictions par lot lorsque vous n'avez pas besoin d'une réponse immédiate et souhaitez traiter les données accumulées en une seule requête.

Tester le modèle en local

Avant d'obtenir des prédictions, il est utile de déployer votre modèle sur un point de terminaison local pendant la phase de développement et de test. Cela vous permet d'effectuer des itérations plus rapidement et de tester votre modèle sans le déployer sur un point de terminaison en ligne ni entraîner des frais de prédiction. Le déploiement local est destiné au développement et aux tests locaux, et non aux déploiements en production.

Pour déployer un modèle localement, utilisez le SDK Vertex AI pour Python et déployez un LocalModel sur un LocalEndpoint. Pour obtenir une démonstration, consultez ce notebook.

Même si votre client n'est pas écrit en Python, vous pouvez toujours utiliser le SDK Vertex AI pour Python pour lancer le conteneur et le serveur afin de tester les requêtes de votre client.

Obtenir des prédictions à partir de modèles entraînés personnalisés

Pour obtenir des prédictions, vous devez d'abord importer votre modèle. Une fois importé, il devient une ressource Model visible dans Vertex AI Model Registry.

Consultez ensuite la documentation suivante pour savoir comment obtenir des prédictions :

Étapes suivantes