Model Armor può essere integrato con Google Kubernetes Engine (GKE) tramite le estensioni di servizio. Le estensioni di servizio consentono di aggiungere logica personalizzata ai percorsi di elaborazione del traffico di rete. Le estensioni del traffico sono un tipo specifico di estensioni di servizio che ti consentono di integrare servizi esterni per elaborare il traffico. Queste estensioni possono essere collegate a vari servizi Google Cloud , inclusi i bilanciatori del carico. Puoi configurare un'estensione di servizio sui bilanciatori del carico delle applicazioni, inclusi i gateway di inferenza GKE, per filtrare il traffico da e verso un cluster GKE. In questo modo, tutte le interazioni con i modelli di AI sono protette da Model Armor. Per ulteriori informazioni, consulta Configurare un'estensione del traffico per chiamare un servizio Model Armor.
Come funziona
- Configuri un'estensione del servizio su un bilanciatore del carico che instrada il traffico a un LLM ospitato nel tuo cluster GKE. Questa configurazione specifica che Model Armor deve essere utilizzato per filtrare prompt e risposte.
- Quando prompt e risposte raggiungono il bilanciatore del carico, l'estensione del servizio chiama il servizio Model Armor.
- Model Armor applica quindi le norme di sicurezza ai prompt e alle risposte, identificando e bloccando eventuali contenuti dannosi.
- Solo i prompt e le risposte che superano i controlli di Model Armor sono consentiti nel cluster GKE o restituiti all'utente.