Model Armor는 서비스 확장 프로그램을 통해 Google Kubernetes Engine(GKE)과 통합할 수 있습니다.
서비스 확장 프로그램을 사용하면 네트워크 트래픽 처리 경로에 커스텀 로직을 추가할 수 있습니다. 트래픽 확장 프로그램은 트래픽을 처리하기 위해 외부 서비스를 통합할 수 있는 특정 유형의 서비스 확장 프로그램입니다. 이러한 확장 프로그램은 부하 분산기를 비롯한 다양한 Google Cloud 서비스에 연결할 수 있습니다.
GKE 추론 게이트웨이를 비롯한 애플리케이션 부하 분산기에서 서비스 확장 프로그램을 구성하여 GKE 클러스터와 주고받는 트래픽을 검사할 수 있습니다. 이렇게 하면 AI 모델과의 모든 상호작용이 Model Armor로 보호됩니다. 자세한 내용은 트래픽 확장 프로그램 구성으로 Model Armor 서비스 호출하기를 참조하세요.
작동 방식
GKE 클러스터에 호스팅된 LLM으로 트래픽을 라우팅하는 부하 분산기에 서비스 확장 프로그램을 구성합니다. 이 구성은 Model Armor를 사용하여 프롬프트 및 응답을 검사하도록 지정합니다.
프롬프트와 대답이 부하 분산기에 도달하면 서비스 확장 프로그램이 Model Armor 서비스를 호출합니다.
그런 다음 Model Armor는 프롬프트와 응답에 보안 정책을 적용하여 악성 또는 유해한 콘텐츠를 식별하고 차단합니다.
Model Armor 검사를 통과한 프롬프트와 응답만 GKE 클러스터로 전달되거나 개발자에게 다시 전송됩니다.
