Pour optimiser efficacement l'inférence des LLM, vous devez comprendre les deux phases distinctes qu'elle comporte :

1. Décrire l'objectif : vous commencez par un déploiement de modèle non optimisé.
2. Appliquer la quantification : réduisez les pondérations du modèle (par exemple, à 4 bits) pour faire tenir des lots plus volumineux en mémoire.
3. Optimiser l'attention : utilisez FlashAttention ou l'attention par requêtes groupées (GQA) pour minimiser les coûts de déplacement de la mémoire.
4. Gérer la mémoire : implémentez PagedAttention pour stocker les caches KV dans des blocs non contigus afin d'éliminer la fragmentation.
5. Exécuter et surveiller : effectuez le déploiement avec le traitement par lots en cours d'exécution pour lancer immédiatement de nouvelles requêtes à mesure que d'autres se terminent.

Voici une comparaison entre l'inférence optimisée et la mise en service de modèle "naïve" traditionnelle :

Google Cloud propose une gamme d'outils conçus pour différents niveaux de compétences et besoins architecturaux.

Model Garden est le moyen le plus rapide de déployer des versions optimisées des principaux modèles ouverts comme Llama, Gemma et Mistral.

Accédez à Model Garden et recherchez un modèle OSS compatible. Cliquez sur "Déployer". Dans la configuration, sélectionnez un environnement d'exécution optimisé tel que vLLM ou NVIDIA NIM.

Choisissez une version quantifiée du modèle (par exemple, 4 bits ou 8 bits) pour réduire l'espace mémoire utilisé. Cela vous permet de diffuser des lots de plus grande taille sur le même GPU, ce qui augmente directement le débit.

Assurez-vous que le conteneur de service est configuré pour utiliser PagedAttention. Cette technique permet au modèle de stocker sa "mémoire" (cache clé-valeur) dans des blocs non contigus, ce qui évite le gaspillage de mémoire et permet d'utiliser des fenêtres de contexte plus longues.

Une fois déployé, Vertex AI gère automatiquement le traitement par lot en cours, en traitant de nouvelles requêtes dès qu'une requête existante a terminé un jeton. Utilisez Vertex AI Model Monitoring pour suivre la latence et vous assurer que le style de la sortie reste de haute qualité.

Pour les équipes ayant besoin d'un contrôle précis sur l'orchestration et leurs kernels d'inférence personnalisés, GKE est le choix de référence.

Provisionnez un cluster GKE avec des nœuds GPU spécialisés (par exemple, L4 ou H100). Installez l'opérateur GPU NVIDIA pour gérer les pilotes et optimiser les performances automatiquement.

Utilisez un moteur d'inférence conteneurisé comme vLLM ou Triton Inference Server. Ces serveurs sont compatibles avec le traitement par lots continu et le parallélisme des tenseurs, ce qui vous permet de segmenter de grands modèles sur plusieurs GPU. vLLM vous permet également de passer des TPU aux GPU, avec un minimum de code supplémentaire.

Pour les besoins de latence critiques, configurez le décodage spéculatif. Cette technique consiste à utiliser un modèle "brouillon" plus petit et plus rapide pour prédire des jetons, qui sont ensuite vérifiés en parallèle par votre modèle "cible" plus grand, ce qui permet souvent de multiplier la vitesse par deux ou trois.

GKE Inference Quickstart sert de base de données préconfigurée pour les configurations de piles d'inférence testées. En spécifiant votre modèle, vos exigences de latence et vos priorités en termes de coûts, l'outil fournit un ensemble de recommandations basées sur les bonnes pratiques et les derniers benchmarks. Vous pouvez ainsi surveiller les métriques de performance spécifiques à l'inférence et affiner dynamiquement votre déploiement pour vous assurer qu'il s'exécute toujours sur une technologie optimisée.

La passerelle d'inférence GKE est désormais en disponibilité générale et propose deux fonctionnalités avancées pour gérer les applications d'IA générative complexes.

• Routage tenant compte des préfixes : pour les applications telles que les chats multitours ou l'analyse de documents, cette fonctionnalité achemine les requêtes vers les accélérateurs qui disposent déjà du contexte en cache, ce qui améliore les temps de réponse.
• Diffusion désagrégée : cette technique distingue la phase initiale de "préremplissage" (traitement des prompts) de la phase de "décodage" (génération de jetons). Comme ces étapes ont des besoins en ressources différents, vous pouvez les exécuter sur des pools de machines distincts et optimisés pour maximiser l'efficacité.

Anywhere Cache est un nouveau cache de lecture entièrement cohérent qui fonctionne avec les buckets Google Cloud Storage (GCS) existants afin de mettre en cache les données dans la même zone que vos accélérateurs. Cela réduit la latence de lecture jusqu'à 96 % et minimise les coûts réseau associés aux charges de travail intensives en lecture.

L'ensemble de l'infrastructure est relié par Cloud WAN, un réseau mondial entièrement géré et basé sur l'infrastructure à l'échelle mondiale de Google. Cloud WAN connecte les ressources de calcul d'IA dans différentes régions, différents clouds et différents environnements sur site. Il améliore de 40 % l'expérience des applications d'inférence et réduit de 40 % le coût total de possession par rapport aux solutions WAN traditionnelles.