与 Google Kubernetes Engine 集成

Model Armor 可通过 Service Extensions 与 Google Kubernetes Engine (GKE) 集成。借助 Service Extensions,您可以向网络流量处理路径添加自定义逻辑。流量扩展程序是一种特定类型的 Service Extensions,可让您集成外部服务以处理流量。这些扩展程序可以附加到各种 Google Cloud 服务(包括负载均衡器)。您可以在应用负载均衡器(包括 GKE 推断网关)上配置服务扩展程序,以筛查进出 GKE 集群的流量。这可确保与 AI 模型的所有交互都受 Model Armor 保护。如需了解详情,请参阅配置流量扩展程序以调用 Model Armor 服务

工作原理

与 Google Kubernetes Engine 集成

  1. 您可以在将流量路由到 GKE 集群中托管的 LLM 的负载均衡器上配置 Service Extensions。此配置指定应使用 Model Armor 来过滤提示和响应。
  2. 当提示和响应到达负载均衡器时,Service Extensions 会调用 Model Armor 服务。
  3. 然后,Model Armor 会将安全政策应用于提示和响应,以识别和屏蔽任何恶意或有害内容。
  4. 只有通过模型防护检查的提示和响应才允许传递到 GKE 集群或返回给您。