Integración de Model Armor con los servicios de Google Cloud

Model Armor se integra en varios servicios de Google Cloud :

  • Google Kubernetes Engine (GKE) y extensiones de servicio
  • Vertex AI

GKE y extensiones de servicio

Model Armor se puede integrar en GKE a través de las extensiones de servicio. Las extensiones de servicio te permiten integrar servicios internos (servicios deGoogle Cloud ) o externos (administrados por el usuario) para procesar el tráfico. Puedes configurar una extensión de servicio en los balanceadores de cargas de aplicaciones, incluidas las puertas de enlace de inferencia de GKE, para filtrar el tráfico hacia y desde un clúster de GKE. Esto verifica que Model Armor proteja todas las interacciones con los modelos de IA. Para obtener más información, consulta Integración con GKE.

Vertex AI

Model Armor se puede integrar directamente en Vertex AI con configuración de nivel o plantillas. Esta integración examina las solicitudes y respuestas del modelo de Gemini, y bloquea aquellas que incumplen la configuración de límites. Esta integración proporciona protección de instrucciones y respuestas dentro de la API de Gemini en Vertex AI para el método generateContent. Debes habilitar Cloud Logging para obtener visibilidad de los resultados de la sanitización de las instrucciones y las respuestas. Para obtener más información, consulta Integración con Vertex AI.

Antes de comenzar

Habilita las APIs

Debes habilitar las APIs de Model Armor antes de poder usar Model Armor.

Console

  1. Enable the Model Armor API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

  2. Selecciona el proyecto en el que deseas activar Model Armor.

gcloud

Antes de comenzar, sigue estos pasos con Google Cloud CLI y la API de Model Armor:

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. Ejecuta el siguiente comando para configurar el extremo de API del servicio Model Armor.

    gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"

    Reemplaza LOCATION por la región en la que deseas usar Model Armor.

  3. Ejecuta el siguiente comando para habilitar Model Armor.

      gcloud services enable modelarmor.googleapis.com --project=PROJECT_ID
       

    Reemplaza PROJECT_ID por el ID del proyecto.

    Opciones para integrar Model Armor

    Model Armor ofrece las siguientes opciones de integración. Cada opción proporciona diferentes funciones y capacidades.

    Opción de integración Detector o aplicador de políticas Configura las detecciones Solo inspección Inspeccionar y bloquear Cobertura del modelo y de la nube
    API de REST Detector Solo se usan plantillas. Todos los modelos y todas las nubes
    Vertex AI (Versión preliminar) Aplicación intercalada Usar la configuración de límites o las plantillas Gemini (sin transmisión) en Google Cloud
    Google Kubernetes Engine (versión preliminar) Aplicación intercalada Solo se usan plantillas. Modelos con formato de Open AI en Google Cloud

    En el caso de la opción de integración de la API de REST, Model Armor funciona como detector solo con plantillas. Esto significa que, principalmente, identifica y registra posibles incumplimientos de políticas según plantillas predefinidas, en lugar de prevenirlos de forma activa.

    Con la opción de integración de Vertex AI, Model Armor proporciona la aplicación intercalada con la configuración o las plantillas de límite inferior. Esto significa que Model Armor aplica las políticas de forma activa interviniendo directamente en el proceso sin necesidad de modificar el código de tu aplicación.

    Al igual que Vertex AI, la opción de integración en GKE también ofrece la aplicación intercalada solo con plantillas. Esto indica que Model Armor puede aplicar políticas directamente en la puerta de enlace de inferencia sin necesidad de modificar el código de tu aplicación.