O Model Armor pode ser integrado ao Google Kubernetes Engine (GKE) usando as extensões de serviço. Com as extensões de serviço, é possível adicionar lógica personalizada aos caminhos de processamento do tráfego de rede. As extensões de tráfego são um tipo específico de extensões de serviço que permitem integrar serviços externos para processar o tráfego. Essas extensões podem ser anexadas a vários serviços, incluindo balanceadores de carga. Google Cloud É possível configurar uma extensão de serviço em balanceadores de carga de aplicativo, incluindo gateways de inferência do GKE, para filtrar o tráfego de e para um cluster do GKE. Isso garante que todas as interações com os modelos de IA sejam protegidas pelo Model Armor. Para mais informações, consulte Configurar uma extensão de tráfego para chamar um serviço do Model Armor.
Como funciona
- Você configura uma extensão de serviço em um balanceador de carga que encaminha o tráfego para um LLM hospedado no cluster do GKE. Essa configuração especifica que o Model Armor deve ser usado para analisar comandos e respostas.
- Quando os comandos e as respostas chegam ao balanceador de carga, a extensão de serviço chama o serviço Model Armor.
- Em seguida, o Model Armor aplica políticas de segurança aos comandos e respostas, identificando e bloqueando qualquer conteúdo malicioso ou nocivo.
- Somente os comandos e respostas que passam nas verificações do Model Armor são permitidos no cluster do GKE ou de volta para você.