Model Armor kann über Diensterweiterungen in Google Kubernetes Engine (GKE) eingebunden werden. Mit Diensterweiterungen können Sie benutzerdefinierte Logik zu Verarbeitungspfaden für Netzwerk-Traffic hinzufügen. Traffic-Erweiterungen sind eine spezielle Art von Dienst-Erweiterungen, mit denen Sie externe Dienste zur Verarbeitung von Traffic einbinden können. Diese Erweiterungen können an verschiedene Google Cloud Dienste angehängt werden, einschließlich Load Balancern. Sie können eine Dienst-Erweiterung für Application Load Balancer konfigurieren, einschließlich GKE-Inferenz-Gateways, um den Traffic zu und von einem GKE-Cluster zu filtern. So wird sichergestellt, dass alle Interaktionen mit den KI-Modellen durch Model Armor geschützt sind. Weitere Informationen finden Sie unter Traffic-Erweiterung zum Aufrufen eines Model Armor-Dienstes konfigurieren.
Funktionsweise
- Sie konfigurieren eine Dienst-Extension für einen Load-Balancer, der Traffic an ein LLM weiterleitet, das in Ihrem GKE-Cluster gehostet wird. Diese Konfiguration gibt an, dass Model Armor zum Prüfen von Prompts und Antworten verwendet werden soll.
- Wenn Prompts und Antworten den Load-Balancer erreichen, ruft die Dienst-Erweiterung den Model Armor-Dienst auf.
- Model Armor wendet dann Sicherheitsrichtlinien auf die Prompts und Antworten an und identifiziert und blockiert alle schädlichen oder schädlichen Inhalte.
- Nur Prompts und Antworten, die die Model Armor-Prüfungen bestehen, dürfen an den GKE-Cluster oder an Sie weitergeleitet werden.