Google Cloud 서비스와의 Model Armor 통합

Model Armor는 다양한 Google Cloud 서비스와 통합됩니다.

  • Google Kubernetes Engine (GKE) 및 서비스 확장 프로그램
  • Vertex AI

GKE 및 서비스 확장 프로그램

Model Armor는 서비스 확장 프로그램을 통해 GKE와 통합할 수 있습니다. 서비스 확장 프로그램을 사용하면 트래픽을 처리하기 위해 내부 (Google Cloud 서비스) 또는 외부 (사용자 관리) 서비스를 통합할 수 있습니다. GKE 추론 게이트웨이를 비롯한 애플리케이션 부하 분산기에서 서비스 확장 프로그램을 구성하여 GKE 클러스터와 주고받는 트래픽을 검사할 수 있습니다. 이를 통해 AI 모델과의 모든 상호작용이 Model Armor로 보호되는지 확인할 수 있습니다. 자세한 내용은 GKE와 통합을 참고하세요.

Vertex AI

Model Armor는 플로어 설정 또는 템플릿을 사용하여 Vertex AI에 직접 통합할 수 있습니다. 이 통합은 Gemini 모델 요청과 응답을 검사하여 최소 기준 설정을 위반하는 요청과 응답을 차단합니다. 이 통합은 generateContent 메서드에 대해 Vertex AI의 Gemini API 내에서 프롬프트 및 응답 보호를 제공합니다. 프롬프트 및 대답의 삭제 결과를 확인하려면 Cloud Logging을 사용 설정해야 합니다. 자세한 내용은 Vertex AI와의 통합을 참고하세요.

시작하기 전에

API 사용 설정

Model Armor를 사용하려면 먼저 Model Armor API를 사용 설정해야 합니다.

콘솔

  1. Enable the Model Armor API.

    Enable the API

  2. Model Armor를 활성화할 프로젝트를 선택합니다.

gcloud

시작하기 전에 Model Armor API와 함께 Google Cloud CLI를 사용하여 다음 단계를 따르세요.

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. 다음 명령어를 실행하여 Model Armor 서비스의 API 엔드포인트를 설정합니다.

    gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"

    LOCATION을 Model Armor를 사용하려는 리전으로 바꿉니다.

  3. 다음 명령어를 실행하여 Model Armor를 사용 설정합니다.

      gcloud services enable modelarmor.googleapis.com --project=PROJECT_ID
       

    PROJECT_ID를 프로젝트의 ID로 바꿉니다.

    Model Armor 통합 시 옵션

    Model Armor는 다음과 같은 통합 옵션을 제공합니다. 각 옵션은 서로 다른 기능과 기능을 제공합니다.

    통합 옵션 정책 시행자/감지기 감지 구성 검사만 검사 및 차단 모델 및 클라우드 지원 범위
    REST API 검사 프로그램 템플릿만 사용 모든 모델 및 모든 클라우드
    Vertex AI (프리뷰) 인라인 시행 최소 기준 설정 또는 템플릿 사용 Google Cloud의 Gemini (비스트리밍)
    Google Kubernetes Engine (미리보기) 인라인 시행 템플릿만 사용 Google Cloud의 OpenAI 형식 모델

    REST API 통합 옵션의 경우 Model Armor는 템플릿만 사용하여 감지기로 작동합니다. 즉, 적극적으로 정책 위반을 방지하기보다는 사전 정의된 템플릿을 기반으로 잠재적인 정책 위반을 식별하고 보고합니다.

    Vertex AI 통합 옵션을 사용하면 Model Armor가 플로어 설정 또는 템플릿을 사용하여 인라인 적용을 제공합니다. 즉, Model Armor는 애플리케이션 코드를 수정하지 않고도 프로세스에 직접 개입하여 정책을 적극적으로 적용합니다.

    Vertex AI와 마찬가지로 GKE 통합 옵션도 템플릿을 사용하여 인라인 적용만 제공합니다. 이는 Model Armor가 애플리케이션 코드를 수정하지 않고도 추론 게이트웨이 내에서 직접 정책을 적용할 수 있음을 나타냅니다.