Model Armor 可通过 Service Extensions 与 Google Kubernetes Engine (GKE) 集成。借助 Service Extensions,您可以向网络流量处理路径添加自定义逻辑。流量扩展程序是一种特定类型的 Service Extensions,可让您集成外部服务以处理流量。这些扩展程序可以附加到各种 Google Cloud 服务(包括负载均衡器)。您可以在应用负载均衡器(包括 GKE 推断网关)上配置服务扩展程序,以筛查进出 GKE 集群的流量。这可确保与 AI 模型的所有交互都受 Model Armor 保护。如需了解详情,请参阅配置流量扩展程序以调用 Model Armor 服务。
工作原理
您可以在将流量路由到 GKE 集群中托管的 LLM 的负载均衡器上配置 Service Extensions。此配置指定应使用 Model Armor 来过滤提示和响应。
当提示和响应到达负载均衡器时,Service Extensions 会调用 Model Armor 服务。