Les termes "modèle de fondation" et "grand modèle de langage" (LLM) sont souvent utilisés de manière interchangeable, mais il existe une différence essentielle. Les LLM sont un type majeur de modèle de fondation, mais ce ne sont pas les seuls. Considérez-les comme une relation parent-enfant : tous les LLM sont des modèles de fondation, mais tous les modèles de fondation ne sont pas des LLM.

La principale différence réside dans le type de données sur lesquelles ils sont basés. Comme leur nom l'indique, les LLM sont entraînés spécifiquement sur de grandes quantités de texte et de code. La catégorie plus large des "modèles de fondation" inclut également des modèles entraînés sur d'autres types de données, comme des images, de l'audio et des vidéos, ou une combinaison de ces types de données (multimodal).

L'IA générative et les modèles de fondation sont distincts, mais étroitement liés. Pour bien comprendre la différence, vous pouvez les considérer comme le "moteur" et la "fonction" :

• Un modèle de fondation est un moteur puissant pré-entraîné. Il s'agit de la technologie sous-jacente, basée sur des données massives et conçue pour être adaptée.
• L'IA générative est l'une des principales fonctions de ce moteur. Elle permet de créer de nouveaux contenus, comme du texte, des images ou du code.

Bien que les modèles de fondation les plus populaires soient utilisés pour des tâches génératives, un modèle de fondation peut être adapté à des fins non génératives, comme la classification ou l'analyse complexes. Par conséquent, tous les modèles de fondation ne sont pas intrinsèquement génératifs, mais ils constituent la technologie clé qui alimente la vague actuelle d'applications d'IA générative.

Les modèles de fondation englobent diverses architectures, chacune conçue avec des atouts et des applications uniques. Voici quelques types notables :

• Grands modèles de langage (LLM) : ces modèles sont spécialisés dans la compréhension et la génération du langage humain. Ils excellent dans des tâches telles que la traduction, la synthèse de texte et les interactions avec les chatbots.
• Modèles multimodaux : entraînés sur différents types de données, y compris du texte, des images et de l'audio, ces modèles peuvent analyser et générer du contenu dans plusieurs modalités.
• Réseaux antagonistes génératifs (GAN) : les GAN sont un type de modèle de fondation impliquant deux réseaux de neurones qui s'affrontent dans un jeu à somme nulle. Un réseau, le générateur, crée des instances de données, tandis que l'autre, le discriminateur, évalue leur authenticité. Ce processus antagoniste permet de générer des contenus de plus en plus réalistes et complexes.
• Modèles de vision par ordinateur : ces modèles sont entraînés sur des ensembles de données d'images pour effectuer des tâches telles que la classification d'images, la détection d'objets et la génération d'images. Ils peuvent être affinés pour des applications spécifiques, comme l'analyse d'images médicales ou la reconnaissance d'objets dans les véhicules autonomes.

Les modèles de fondation sont entraînés sur des ensembles de données volumineux à l'aide de l'apprentissage auto-supervisé, une approche du machine learning qui exploite des techniques d'apprentissage non supervisé pour des tâches qui nécessitent traditionnellement un apprentissage supervisé (par exemple, l'étiquetage des données avec une intervention humaine). Cela permet d'entraîner le modèle à prédire les parties masquées ou manquantes des données d'entrée. À mesure que le modèle effectue des prédictions, il apprend à identifier des modèles, des relations et des structures sous-jacentes dans les données.

Le processus d'entraînement d'un modèle de fondation est similaire à celui d'un modèle de machine learning et comporte généralement plusieurs étapes clés :

• Un ensemble de données volumineux et diversifié est collecté. Il est représentatif de la distribution réelle des données que le modèle rencontrera lors du déploiement.
• Les données sont prétraitées pour éliminer le bruit, les données aberrantes et les incohérences. Cela peut inclure des techniques telles que le nettoyage des données, la normalisation et l'ingénierie des caractéristiques.

• Une architecture de modèle appropriée est choisie en fonction de plusieurs facteurs, y compris la complexité de la tâche, le type et le volume de données, et les ressources de calcul disponibles.
• Les architectures de modèles couramment utilisées pour l'apprentissage auto-supervisé incluent les réseaux de neurones convolutifs (CNN), les réseaux de neurones récurrents (RNN) et les Transformers.

• Le modèle est entraîné à l'aide de techniques d'apprentissage auto-supervisé, qui consistent à créer des pseudo-étiquettes pour les données et à entraîner le modèle à prédire ces étiquettes.
• Pour ce faire, vous pouvez utiliser différentes méthodes, telles que l'apprentissage contrastif, la modélisation de langage masquée et les casse-tête.
• L'entraînement auto-supervisé permet au modèle d'apprendre des représentations utiles des données sans s'appuyer sur des étiquettes annotées manuellement, dont l'obtention peut être coûteuse et chronophage.

• Une fois que le modèle a été pré-entraîné à l'aide de l'apprentissage auto-supervisé, il peut être affiné sur une collection de données plus spécialisée et spécifique à une tâche.
• Cela implique d'adapter les paramètres du modèle pour optimiser ses performances sur la tâche cible.
• L'affinage aide le modèle à s'adapter aux exigences spécifiques de la tâche et à améliorer ses performances globales.

• Après le pré-entraînement et l'affinage, la plupart des modèles de pointe passent par une phase d'alignement pour s'assurer que leurs résultats sont utiles, inoffensifs et conformes à l'intention humaine.
• Cette étape cruciale utilise souvent des techniques telles que l'apprentissage par renforcement qui utilise le feedback humain (RLHF) et l'optimisation directe des préférences (DPO), où des réviseurs humains notent les réponses du modèle pour l'orienter vers des comportements plus souhaitables.

• Une fois le modèle entraîné et affiné, il est évalué sur un ensemble de test isolé pour évaluer ses performances.
• Si le modèle répond aux critères de performances souhaités, il peut être déployé en production, où il peut être utilisé pour résoudre des problèmes concrets.

Malgré leurs avantages, les modèles de fondation présentent des défis importants que les utilisateurs et les développeurs doivent relever :

• Biais et équité : les modèles de fondation peuvent hériter des biais sociétaux présents dans leurs données d'entraînement volumineuses et les amplifier, ce qui donne lieu à des résultats injustes ou biaisés.
• Hallucinations : les modèles peuvent générer des informations qui semblent plausibles, mais qui sont factuellement incorrectes ou absurdes. C'est ce qu'on appelle les "hallucinations".
• Coût de calcul élevé : l'entraînement de ces modèles nécessite une puissance de calcul et une énergie considérables, ce qui soulève des préoccupations environnementales et financières.

L'écosystème des modèles de fondation est dynamique et compétitif. Voici quelques-uns des exemples les plus influents de la part d'acteurs clés du secteur :

• Google : connu pour la famille Gemini, une série de modèles multimodaux puissants (Gemini 2.5 Pro en est un excellent exemple), et Gemma, une famille de modèles légers et à pondération ouverte pour les développeurs. Google a également développé des modèles spécialisés comme Imagen pour la génération d'images à partir de texte et Veo pour la génération de vidéos.
• OpenAI : développeur de la série GPT (Generative Pre-trained Transformer) très influente, y compris le très utilisé GPT-4
• Anthropic : se concentre sur la sécurité de l'IA et a développé la famille de modèles Claude. La série Claude 3 (y compris Opus, Sonnet et Haiku) est connue pour ses grandes fenêtres de contexte et ses solides capacités de raisonnement.
• Meta : grand défenseur de l'IA Open Source, Meta a développé la série Llama. Llama 3 est un modèle ouvert qui a accéléré l'innovation dans l'ensemble de la communauté.
• Mistral AI : entreprise européenne qui a gagné en popularité grâce à ses modèles Open Source et commerciaux très performants, comme Mistral Large et les modèles Open Source Mixtral, qui utilisent une architecture MoE (Mixture of Experts) pour une plus grande efficacité

Google Cloud fournit une plate-forme d'entreprise de bout en bout, Vertex AI, conçue pour aider les organisations à accéder aux modèles de fondation, à les personnaliser et à les déployer pour des applications concrètes. Cette stratégie repose sur le choix, des outils performants et une infrastructure intégrée.

Voici comment Google Cloud utilise les modèles de fondation :

• Un écosystème de modèles diversifié et ouvert : grâce à Vertex AI Model Garden, Google Cloud offre un accès à une bibliothèque complète de plus de 130 modèles de fondation. Cela inclut les modèles de pointe de Google, comme la famille Gemini (pour les tâches multimodales) et Gemma (pour un développement ouvert et simple), ainsi que des modèles Open Source et tiers populaires de partenaires comme Anthropic (Claude), Meta (Llama) et Mistral. Les développeurs peuvent ainsi choisir le modèle qui correspond le mieux à leurs besoins spécifiques en termes de coûts et de performances.
• Outils de personnalisation et d'ancrage : Vertex AI fournit une suite complète d'outils pour aller au-delà des requêtes simples. Generative AI Studio permet aux équipes de tester et d'ajuster les modèles. L'une de ses principales caractéristiques est la possibilité d'ancrer les modèles dans les données d'entreprise de l'organisation. Cette approche connecte les capacités de raisonnement du modèle aux sources de données spécifiques d'une entreprise, ce qui réduit considérablement les hallucinations et rend les réponses factuellement cohérentes et pertinentes.
• Créer des agents et des applications d'IA : Google Cloud aide les développeurs à créer des applications d'IA sophistiquées, et pas seulement des chatbots. Avec Vertex AI Agent Builder, les entreprises peuvent créer et déployer des agents d'IA conversationnelle pour le service client, les centres d'assistance internes et d'autres processus métier.
• Intégrer l'IA générative aux workflows : les modèles de fondation sont intégrés directement aux services Google Cloud que les entreprises utilisent déjà. Par exemple, Gemini Code Assist agit comme un assistant basé sur l'IA pour aider les développeurs à écrire, expliquer et tester du code plus rapidement, tandis que les fonctionnalités de BigQuery permettent d'effectuer des analyses de données basées sur l'IA directement dans l'entrepôt de données.