Qu'est-ce que l'inférence de l'IA ?

Le cycle de vie complet de l'IA englobe toutes les étapes, de la collecte des données à la surveillance à long terme. Cependant, le parcours central d'un modèle, de sa création à son exécution, comporte trois étapes clés. Les deux premières concernent l'apprentissage, tandis que la dernière consiste à mettre en pratique cet apprentissage.

• L'entraînement de l'IA est la phase d'apprentissage fondamentale. Il s'agit d'un processus qui nécessite beaucoup de ressources de calcul, dans lequel un modèle analyse un ensemble de données massif pour apprendre des relations et des schémas. L'objectif est de créer un modèle précis et informé. Cela nécessite des accélérateurs matériels puissants (comme des GPU et des TPU) et peut prendre de quelques heures à plusieurs semaines.
• Le réglage précis de l'IA est un raccourci pour l'entraînement. Il prend un modèle pré-entraîné puissant et l'adapte à une tâche plus spécifique à l'aide d'un ensemble de données plus petit et spécialisé. Cela permet de gagner beaucoup de temps et d'économiser des ressources par rapport à l'entraînement d'un modèle à partir de zéro.
• L'inférence de l'IA est la phase d'exécution. Il utilise le modèle entraîné et affiné pour effectuer des prédictions rapides sur de nouvelles données "inédites". Chaque prédiction individuelle est beaucoup moins exigeante en termes de calcul que l'entraînement, mais la diffusion de millions de prédictions en temps réel nécessite une infrastructure hautement optimisée et évolutive.
• Le service d'IA consiste à déployer et à gérer le modèle pour l'inférence. Cela implique souvent de créer un package pour le modèle, de configurer un point de terminaison d'API et de gérer l'infrastructure pour traiter les requêtes.

Ce tableau récapitule les principales différences :

L'inférence d'IA repose sur trois étapes qui transforment de nouvelles données en un résultat utile.

Prenons un exemple simple : un modèle d'IA conçu pour identifier des objets dans des photos.

1. Préparation des données d'entrée : de nouvelles données sont d'abord fournies, par exemple une photo que vous venez d'envoyer. Cette photo est instantanément préparée pour le modèle, ce qui peut signifier qu'elle est simplement redimensionnée aux dimensions exactes sur lesquelles le modèle a été entraîné.
2. Exécution du modèle : le modèle d'IA analyse ensuite la photo préparée. Il recherche des schémas (couleurs, formes, textures, etc.) qui correspondent à ce qu'il a appris pendant son entraînement. Cette analyse rapide est appelée "passe avant". Il s'agit d'une étape en lecture seule où le modèle applique ses connaissances sans rien apprendre de nouveau.
3. Génération de résultats : le modèle produit un résultat exploitable. Pour l'analyse de photos, il peut s'agir d'un score de probabilité (par exemple, 95 % de chances que l'image contienne un "chien"). Ce résultat est ensuite envoyé à l'application et affiché à l'utilisateur.

Bien qu'une inférence unique soit rapide, servir des millions d'utilisateurs en temps réel augmente la latence et les coûts, et nécessite du matériel optimisé. Les processeurs graphiques (GPU) spécialisés dans l'IA et les Tensor Processing Units de Google sont conçus pour gérer ces tâches efficacement, ainsi que l'orchestration avec Google Kubernetes Engine, ce qui contribue à augmenter le débit et à réduire la latence.

Il s'agit de l'approche la plus courante, dans laquelle l'inférence s'exécute sur de puissants serveurs distants dans un centre de données. Le cloud offre une évolutivité et des ressources de calcul immenses, ce qui le rend idéal pour gérer des ensembles de données massifs et des modèles complexes. Dans le cloud, il existe généralement deux modes d'inférence principaux :

• Inférence en temps réel (en ligne) : traite instantanément les requêtes individuelles à mesure qu'elles arrivent, souvent en quelques millisecondes. C'est essentiel pour les applications interactives qui exigent un retour d'information immédiat.
• Inférence par lot (hors connexion) : traite de grands volumes de données en une seule fois, généralement lorsque des réponses immédiates ne sont pas requises. C'est une méthode très économique pour les analyses périodiques ou les tâches planifiées.

Cette approche effectue l'inférence directement sur l'appareil où les données sont générées, qu'il s'agisse d'un smartphone ou d'un capteur industriel. En évitant un aller-retour vers le cloud, l'inférence en périphérie offre des avantages uniques :

• Latence réduite : les réponses sont presque instantanées, ce qui est essentiel pour des applications comme les véhicules autonomes ou les contrôles de fabrication en temps réel.
• Confidentialité renforcée : les données sensibles (comme les examens médicaux, les photos personnelles ou les flux vidéo) peuvent être traitées sur l'appareil sans jamais être envoyées dans le cloud.
• Réduction des coûts de bande passante : le traitement local des données réduit considérablement la quantité de données à importer et à télécharger.
• Fonctionnalités hors connexion : l'application peut continuer à fonctionner même sans connexion Internet, ce qui assure une continuité des opérations dans les environnements distants ou déconnectés.

Pour vous aider à choisir l'approche la plus adaptée à vos besoins spécifiques, voici une comparaison rapide des principales caractéristiques et des cas d'utilisation de chaque type d'inférence d'IA :

L'inférence de l'IA présente un ensemble distinct de défis techniques, y compris la gestion de la latence, le contrôle des coûts et l'assurance de l'évolutivité. Google Cloud offre un chemin flexible pour l'inférence, vous permettant de choisir les bons outils en fonction de la complexité de votre modèle, de vos besoins en termes de performances et de votre capacité opérationnelle. Vous pouvez commencer par des solutions entièrement gérées et adopter progressivement une infrastructure plus personnalisée à mesure que vos besoins évoluent.

Cette approche est idéale pour les développeurs de tous niveaux, y compris ceux qui débutent avec l'IA et qui souhaitent intégrer rapidement de puissantes fonctionnalités d'IA. Il suffit d'effectuer des appels d'API simples, sans avoir à gérer de modèles ni d'infrastructure.

Cette option est destinée aux développeurs qui ont déjà créé un modèle personnalisé. Vous pouvez le déployer sur le service géré de Google Cloud, ce qui signifie que vous n'avez pas à gérer vous-même la configuration complexe du serveur ni l'orchestration. Vous pouvez vous concentrer sur votre modèle, et non sur l'infrastructure.

Offre aux développeurs et aux équipes MLOps un contrôle précis et une flexibilité pour déployer, gérer et faire évoluer des services d'inférence conteneurisés personnalisés, souvent avec du matériel spécialisé, dans des environnements cloud ou hybrides.

Si vous utilisez SQL, vous pouvez désormais obtenir des prédictions à partir de modèles d'IA directement là où se trouvent vos données. Vous n'avez donc pas besoin de déplacer les données vers une autre plate-forme, ce qui simplifie votre workflow.