Model Armor se puede integrar en Google Kubernetes Engine (GKE) a través de las extensiones de servicio. Las extensiones de servicio te permiten agregar lógica personalizada a las rutas de procesamiento del tráfico de red. Las extensiones de tráfico son un tipo específico de extensiones de servicio que te permiten integrar servicios externos para procesar el tráfico. Estas extensiones se pueden conectar a varios Google Cloud servicios, incluidos los balanceadores de cargas. Puedes configurar una extensión de servicio en los balanceadores de cargas de aplicaciones, incluidas las puertas de enlace de inferencia de GKE, para filtrar el tráfico hacia y desde un clúster de GKE. Esto garantiza que Model Armor proteja todas las interacciones con los modelos de IA. Para obtener más información, consulta Configura una extensión de tráfico para llamar a un servicio de Model Armor.
Cómo funciona
- Configuras una extensión de servicio en un balanceador de cargas que enruta el tráfico a un LLM alojado en tu clúster de GKE. Esta configuración especifica que se debe usar Model Armor para filtrar las instrucciones y las respuestas.
- Cuando las instrucciones y las respuestas llegan al balanceador de cargas, la extensión de servicio llama al servicio de Model Armor.
- Luego, Model Armor aplica políticas de seguridad a las instrucciones y respuestas, y bloquea todo el contenido dañino o malicioso que identifica.
- Solo se permiten las instrucciones y respuestas que superan las verificaciones de Model Armor en el clúster de GKE o de vuelta a ti.