• Traitement asynchrone  : les prédictions sont générées selon un calendrier prédéfini (par exemple, toutes les heures ou tous les jours) ou à la demande, et non en temps réel à mesure que de nouvelles données arrivent.
• Débit élevé  : le système est optimisé pour traiter un grand nombre de points de données en une seule exécution, ce qui le rend très efficace.
• Rentabilité : en exécutant les tâches selon un calendrier, vous pouvez utiliser les ressources de calcul lorsqu'elles sont les plus disponibles ou les moins chères, ce qui réduit considérablement les coûts opérationnels.
• Tolérance à la latence : l'hypothèse principale est que l'application qui consomme les prédictions n'a pas besoin d'une réponse immédiate. Un délai de quelques minutes à plusieurs heures entre la collecte des données et la génération des prédictions est acceptable.

Le choix entre l'inférence par lot et l'inférence en ligne est une décision architecturale fondamentale lors de la conception d'un système de machine learning. Chaque approche a un objectif différent et est optimisée pour des caractéristiques de performances différentes.

Un pipeline d'inférence par lot est un workflow structuré et automatisé qui transforme les données brutes en prédictions exploitables. Le processus peut être décomposé en ces étapes clés, qui sont généralement orchestrées par un gestionnaire de workflows ou un système de planification.

Le processus commence par l'accumulation de données au fil du temps. Ces données d'entrée, qui peuvent inclure des journaux d'activité utilisateur, des enregistrements de transactions ou des relevés de capteurs, sont collectées à partir de diverses sources et stockées dans un emplacement centralisé. Il s'agit souvent d'un lac de données basé sur un service tel que Google Cloud Storage ou d'un entrepôt de données tel que BigQuery.

Le pipeline d'inférence est lancé par un déclencheur. Ce déclencheur peut être :

• Basé sur l'heure  : un planificateur (comme un job Cron) lance le job à intervalles réguliers, par exemple tous les matins à 1h.
• Basé sur des événements : le job démarre en réponse à un événement spécifique, comme l'arrivée d'un nouveau fichier de données dans un bucket Cloud Storage.

Une fois déclenché, le job charge l'intégralité du lot de données brutes en entrée. Il effectue ensuite les étapes nécessaires de prétraitement et d'ingénierie des caractéristiques pour transformer les données au format exact attendu par le modèle de machine learning. Cela peut inclure des tâches telles que le nettoyage des valeurs manquantes, le scaling des caractéristiques numériques et l'encodage des variables catégorielles.

Le système récupère le modèle de machine learning entraîné à partir d'un dépôt central, tel que Vertex AI Model Registry. Le lot de données prétraité est ensuite transmis au modèle, qui exécute l'inférence sur chaque observation de l'ensemble pour générer une prédiction correspondante.

La sortie du modèle, c'est-à-dire l'ensemble des prédictions, est ensuite écrite dans un système de stockage. La destination est choisie en fonction de la façon dont les prédictions seront utilisées. Les destinations courantes incluent le chargement des résultats dans une table BigQuery pour l'analyse, dans une base de données Cloud SQL pour des recherches rapides par une application, ou leur enregistrement sous forme de fichiers dans Cloud Storage.

Les prédictions étant désormais stockées et prêtes, les systèmes en aval peuvent les utiliser. Un outil d'informatique décisionnelle peut interroger les résultats pour créer un tableau de bord du comportement client prédit. Le backend d'une application Web peut charger les recommandations de produits précalculées à afficher aux utilisateurs, ou une plate-forme d'automatisation du marketing peut extraire une liste de clients susceptibles de se désabonner pour les cibler avec une nouvelle campagne.

L'inférence par lot est la méthode privilégiée pour de nombreux processus métier essentiels, où les prédictions améliorent un produit ou un service sans nécessiter une génération en temps réel. Cette approche peut être très efficace dans divers secteurs pour résoudre des problèmes de données à grande échelle.

Vertex AI est la plate-forme de machine learning gérée de Google Cloud. Elle offre une approche simplifiée et sans serveur pour l'inférence par lot. Le processus consiste à configurer un job et à laisser la plate-forme gérer l'infrastructure sous-jacente.

Avant de commencer, vous avez besoin de trois éléments clés :

• Un modèle entraîné, qui doit être importé dans Vertex AI Model Registry.
• Vos données d'entrée mises en forme conformément aux exigences de votre modèle. Ces données doivent se trouver dans Google Cloud Storage (par exemple, sous forme de fichiers JSON ou CSV) ou dans une table BigQuery.
• Un emplacement de destination pour la sortie, qui sera également un bucket Cloud Storage ou une table BigQuery.

Vous pouvez lancer le job dans la console Google Cloud, à l'aide de l'outil de ligne de commande gcloud ou de façon programmatique à l'aide du SDK Vertex AI. Lorsque vous créez le job, vous devez fournir la configuration suivante :

• Le modèle spécifique de Model Registry que vous souhaitez utiliser.
• Le chemin d'accès à vos données d'entrée et l'emplacement de vos résultats.
• Le type de machine et l'accélérateur (par exemple, GPU) que vous souhaitez utiliser pour le job. Cela vous permet d'équilibrer les coûts et les performances.

Une fois que vous avez envoyé le job, Vertex AI prend le relais. Il provisionne automatiquement les ressources de calcul que vous avez spécifiées, exécute vos données d'entrée dans le modèle, génère les prédictions et les enregistre dans l'emplacement de sortie désigné. Une fois le job terminé, Vertex AI réduit automatiquement la capacité de toutes les ressources à zéro. Vous ne payez donc que le temps de calcul que vous utilisez. Vous pouvez surveiller la progression du job et afficher les journaux directement dans la console Google Cloud.

Une fois que le job passe à l'état "Réussite", vos prédictions sont prêtes. Vos applications en aval, vos outils d'analyse ou vos tableaux de bord d'informatique décisionnelle peuvent désormais accéder aux fichiers de sortie dans Cloud Storage ou à la nouvelle table dans BigQuery.