Model Armor peut être intégré à Google Kubernetes Engine (GKE) via les extensions de service. Les extensions de service vous permettent d'ajouter une logique personnalisée aux chemins de traitement du trafic réseau. Les extensions de trafic sont un type spécifique d'extensions de service qui vous permettent d'intégrer des services externes pour traiter le trafic. Ces extensions peuvent être associées à différents services Google Cloud , y compris les équilibreurs de charge. Vous pouvez configurer une extension de service sur les équilibreurs de charge d'application, y compris les passerelles d'inférence GKE, pour filtrer le trafic vers et depuis un cluster GKE. Cela garantit que toutes les interactions avec les modèles d'IA sont protégées par Model Armor. Pour en savoir plus, consultez Configurer une extension de trafic pour appeler un service Model Armor.
Fonctionnement
- Vous configurez une extension de service sur un équilibreur de charge qui achemine le trafic vers un LLM hébergé dans votre cluster GKE. Cette configuration spécifie que Model Armor doit être utilisé pour filtrer les requêtes et les réponses.
- Lorsque les requêtes et les réponses atteignent l'équilibreur de charge, l'extension de service appelle le service Model Armor.
- Model Armor applique ensuite des règles de sécurité aux requêtes et aux réponses, en identifiant et en bloquant tout contenu malveillant ou nuisible.
- Seuls les prompts et les réponses qui passent les vérifications Model Armor sont autorisés à accéder au cluster GKE ou à vous être renvoyés.