Intégration de Model Armor aux services Google Cloud

Model Armor s'intègre à différents services Google Cloud  :

  • Google Kubernetes Engine (GKE) et extensions de service
  • Vertex AI

GKE et les extensions de service

Model Armor peut être intégré à GKE via les extensions de service. Les extensions de service vous permettent d'intégrer des services internes (Google Cloud ) ou externes (gérés par l'utilisateur) pour traiter le trafic. Vous pouvez configurer une extension de service sur les équilibreurs de charge d'application, y compris les passerelles d'inférence GKE, pour filtrer le trafic vers et depuis un cluster GKE. Cela permet de vérifier que toutes les interactions avec les modèles d'IA sont protégées par Model Armor. Pour en savoir plus, consultez Intégration à GKE.

Vertex AI

Model Armor peut être directement intégré à Vertex AI à l'aide des paramètres de seuil ou des templates. Cette intégration analyse les requêtes et les réponses du modèle Gemini, et bloque celles qui ne respectent pas les paramètres de plancher. Cette intégration offre une protection des requêtes et des réponses dans l'API Gemini dans Vertex AI pour la méthode generateContent. Vous devez activer Cloud Logging pour obtenir de la visibilité sur les résultats de la désinfection des requêtes et des réponses. Pour en savoir plus, consultez Intégration à Vertex AI.

Avant de commencer

Activer les API

Vous devez activer les API Model Armor avant de pouvoir utiliser Model Armor.

Console

  1. Enable the Model Armor API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

  2. Sélectionnez le projet dans lequel vous souhaitez activer Model Armor.

gcloud

Avant de commencer, suivez ces étapes à l'aide de la Google Cloud CLI avec l'API Model Armor :

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. Exécutez la commande suivante pour définir le point de terminaison de l'API pour le service Model Armor.

    gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"

    Remplacez LOCATION par la région dans laquelle vous souhaitez utiliser Model Armor.

  3. Exécutez la commande suivante pour activer Model Armor.

      gcloud services enable modelarmor.googleapis.com --project=PROJECT_ID
       

    Remplacez PROJECT_ID par l'ID du projet.

    Options lors de l'intégration de Model Armor

    Model Armor propose les options d'intégration suivantes. Chaque option offre des fonctionnalités différentes.

    Option d'intégration Outil d'application/de détection des règles Configurer les détections Inspecter uniquement Inspecter et bloquer Couverture des modèles et du cloud
    API REST Détecteur Utiliser uniquement des modèles Oui Oui Tous les modèles et tous les clouds
    Vertex AI (Aperçu) Application intégrée Utiliser les paramètres de plancher ou les modèles Oui Oui Gemini (non streaming) sur Google Cloud
    Google Kubernetes Engine (aperçu) Application intégrée Utiliser uniquement des modèles Oui Oui Modèles au format OpenAI sur Google Cloud

    Pour l'option d'intégration de l'API REST, Model Armor fonctionne uniquement comme détecteur à l'aide de modèles. Cela signifie qu'il identifie et signale principalement les cas potentiels de non-respect des règles en fonction de modèles prédéfinis, plutôt que de les empêcher activement.

    Avec l'option d'intégration Vertex AI, Model Armor fournit une application intégrée à l'aide de paramètres ou de modèles de seuil. Cela signifie que Model Armor applique activement les règles en intervenant directement dans le processus, sans nécessiter de modifications du code de votre application.

    Comme Vertex AI, l'option d'intégration GKE n'offre également que l'application intégrée à l'aide de modèles. Cela indique que Model Armor peut appliquer les règles directement dans la passerelle d'inférence sans nécessiter de modifications du code de votre application.