Qu'est-ce que l'inférence de l'IA ?

Le cycle de vie complet de l'IA englobe toutes les étapes, de la collecte des données à la surveillance à long terme. Cependant, le parcours central d'un modèle, de sa création à son exécution, comporte trois étapes clés. Les deux premières concernent l'apprentissage, tandis que la dernière consiste à mettre en pratique cet apprentissage.

• L'entraînement de l'IA est la phase d'apprentissage fondamentale. Il s'agit d'un processus qui nécessite beaucoup de ressources de calcul, dans lequel un modèle analyse un ensemble de données massif pour apprendre des relations et des schémas. L'objectif est de créer un modèle précis et informé. Cela nécessite des accélérateurs matériels puissants (comme des GPU et des TPU) et peut prendre de quelques heures à plusieurs semaines.
• Le réglage précis de l'IA est un raccourci pour l'entraînement. Il prend un modèle pré-entraîné puissant et l'adapte à une tâche plus spécifique à l'aide d'un ensemble de données plus petit et spécialisé. Cela permet de gagner beaucoup de temps et d'économiser des ressources par rapport à l'entraînement d'un modèle à partir de zéro.
• L'inférence de l'IA est la phase d'exécution. Il utilise le modèle entraîné et affiné pour effectuer des prédictions rapides sur de nouvelles données "inédites". Chaque prédiction individuelle est beaucoup moins exigeante en termes de calcul que l'entraînement, mais la diffusion de millions de prédictions en temps réel nécessite une infrastructure hautement optimisée et évolutive.
• Le service d'IA consiste à déployer et à gérer le modèle pour l'inférence. Cela implique souvent de créer un package pour le modèle, de configurer un point de terminaison d'API et de gérer l'infrastructure pour traiter les requêtes.

Ce tableau récapitule les principales différences :

L'inférence d'IA repose sur trois étapes qui transforment de nouvelles données en un résultat utile.

Prenons un exemple simple : un modèle d'IA conçu pour identifier des objets dans des photos.

1. Préparation des données d'entrée : de nouvelles données sont fournies, par exemple une photo que vous venez d'envoyer. Cette photo est instantanément préparée pour le modèle, ce qui peut signifier qu'elle est simplement redimensionnée aux dimensions exactes sur lesquelles le modèle a été entraîné.
2. Exécution du modèle : le modèle d'IA analyse ensuite la photo préparée. Il recherche des schémas (couleurs, formes, textures, etc.) qui correspondent à ce qu'il a appris pendant son entraînement. Cette analyse rapide est appelée "passe avant". Il s'agit d'une étape en lecture seule où le modèle applique ses connaissances sans rien apprendre de nouveau.
3. Génération de résultats : le modèle produit un résultat exploitable. Pour l'analyse de photos, il peut s'agir d'un score de probabilité (par exemple, 95 % de chances que l'image contienne un "chien"). Ce résultat est ensuite envoyé à l'application et affiché à l'utilisateur.

Bien qu'une inférence unique soit rapide, servir des millions d'utilisateurs en temps réel augmente la latence et les coûts, et nécessite du matériel optimisé. Les processeurs graphiques (GPU) spécialisés dans l'IA et les Tensor Processing Units de Google sont conçus pour gérer ces tâches efficacement, ainsi que l'orchestration avec Google Kubernetes Engine, ce qui contribue à augmenter le débit et à réduire la latence.

Il s'agit de l'approche la plus courante, dans laquelle l'inférence s'exécute sur de puissants serveurs distants dans un centre de données. Le cloud offre une évolutivité et des ressources de calcul immenses, ce qui le rend idéal pour gérer des ensembles de données massifs et des modèles complexes. Dans le cloud, il existe généralement deux modes d'inférence principaux :

• Inférence en temps réel (en ligne) : traite instantanément les requêtes individuelles à mesure qu'elles arrivent, souvent en quelques millisecondes. C'est essentiel pour les applications interactives qui exigent un retour d'information immédiat.
• Inférence par lot (hors connexion) : traite de grands volumes de données en une seule fois, généralement lorsque des réponses immédiates ne sont pas requises. C'est une méthode très économique pour les analyses périodiques ou les tâches planifiées.

Cette approche effectue l'inférence directement sur l'appareil où les données sont générées, qu'il s'agisse d'un smartphone ou d'un capteur industriel. En évitant un aller-retour vers le cloud, l'inférence en périphérie offre des avantages uniques :

• Latence réduite : les réponses sont presque instantanées, ce qui est essentiel pour des applications comme les véhicules autonomes ou les contrôles de fabrication en temps réel.
• Confidentialité renforcée : les données sensibles (comme les examens médicaux, les photos personnelles ou les flux vidéo) peuvent être traitées sur l'appareil sans jamais être envoyées dans le cloud.
• Réduction des coûts de bande passante : le traitement local des données réduit considérablement la quantité de données à importer et à télécharger.
• Fonctionnalités hors connexion : l'application peut continuer à fonctionner même sans connexion Internet, ce qui assure une continuité des opérations dans les environnements distants ou déconnectés.

Pour vous aider à choisir l'approche la plus adaptée à vos besoins spécifiques, voici une comparaison rapide des principales caractéristiques et des cas d'utilisation de chaque type d'inférence d'IA :

Google Cloud propose une suite complète d'outils et de services qui aident les développeurs et les organisations à créer, déployer et gérer des charges de travail d'inférence d'IA de manière efficace et à grande échelle. Les fonctionnalités d'inférence sont profondément intégrées dans de nombreuses offres :

Vertex AI est la plate-forme d'IA unifiée de Google Cloud. Il fournit des outils complets pour créer, déployer et gérer des modèles de ML, ce qui en fait le service de référence pour la plupart des besoins d'inférence dans le cloud.