Einbindung von Model Armor in Google Cloud-Dienste

Model Armor lässt sich in verschiedene Google Cloud -Dienste einbinden:

  • Google Kubernetes Engine (GKE) und Dienst-Extensions
  • Vertex AI

GKE und Diensterweiterungen

Model Armor kann über Dienst-Erweiterungen in GKE eingebunden werden. Mit Dienst-Erweiterungen können Sie interne (Google Cloud -Dienste) oder externe (nutzerverwaltete) Dienste einbinden, um Traffic zu verarbeiten. Sie können eine Dienst-Extension für Application Load Balancer, einschließlich GKE-Inferenz-Gateways, konfigurieren, um den Traffic zu und von einem GKE-Cluster zu filtern. So wird überprüft, ob alle Interaktionen mit den KI-Modellen durch Model Armor geschützt sind. Weitere Informationen finden Sie unter Integration in GKE.

Vertex AI

Model Armor kann entweder über Floor-Einstellungen oder Vorlagen direkt in Vertex AI integriert werden. Bei dieser Integration werden Anfragen und Antworten von Gemini-Modellen überprüft und Anfragen und Antworten, die gegen die Mindesteinstellungen verstoßen, werden blockiert. Diese Integration bietet Schutz für Prompts und Antworten in der Gemini API in Vertex AI für die Methode generateContent. Sie müssen Cloud Logging aktivieren, um die Ergebnisse der Bereinigung von Prompts und Antworten zu sehen. Weitere Informationen finden Sie unter Integration mit Vertex AI.

Hinweise

APIs aktivieren

Sie müssen die Model Armor APIs aktivieren, bevor Sie Model Armor verwenden können.

Console

  1. Enable the Model Armor API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

  2. Wählen Sie das Projekt aus, für das Sie Model Armor aktivieren möchten.

gcloud

Führen Sie die folgenden Schritte mit der Google Cloud CLI und der Model Armor API aus, bevor Sie beginnen:

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. Führen Sie den folgenden Befehl aus, um den API-Endpunkt für den Model Armor-Dienst festzulegen.

    gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"

    Ersetzen Sie LOCATION durch die Region, in der Sie Model Armor verwenden möchten.

  3. Führen Sie den folgenden Befehl aus, um Model Armor zu aktivieren.

      gcloud services enable modelarmor.googleapis.com --project=PROJECT_ID
       

    Ersetzen Sie PROJECT_ID durch die ID des Projekts.

    Optionen bei der Integration von Model Armor

    Model Armor bietet die folgenden Integrationsoptionen. Jede Option bietet unterschiedliche Funktionen.

    Integrationsoption Richtlinienerzwingung/-erkennung Erkennungen konfigurieren Nur prüfen Prüfen und blockieren Modell- und Cloud-Abdeckung
    REST API Detektor Nur Vorlagen verwenden Ja Ja Alle Modelle und alle Clouds
    Vertex AI (Vorschau) Inline-Durchsetzung Grundlegende Einstellungen oder Vorlagen verwenden Ja Ja Gemini (nicht Streaming) auf Google Cloud
    Google Kubernetes Engine (Vorabversion) Inline-Durchsetzung Nur Vorlagen verwenden Ja Ja Modelle im Open AI-Format auf Google Cloud

    Bei der REST API-Integrationsoption fungiert Model Armor nur als Detector, der Vorlagen verwendet. Das bedeutet, dass potenzielle Richtlinienverstöße hauptsächlich anhand vordefinierter Vorlagen erkannt und gemeldet werden, anstatt aktiv verhindert zu werden.

    Mit der Vertex AI-Integrationsoption bietet Model Armor eine Inline-Durchsetzung mithilfe von Untergrenzeneinstellungen oder Vorlagen. Das bedeutet, dass Model Armor Richtlinien aktiv durchsetzt, indem es direkt in den Prozess eingreift, ohne dass Änderungen an Ihrem Anwendungscode erforderlich sind.

    Ähnlich wie bei Vertex AI bietet die GKE-Einbindungsoption auch nur die Inline-Durchsetzung mithilfe von Vorlagen. Das bedeutet, dass Model Armor Richtlinien direkt im Inference-Gateway erzwingen kann, ohne dass Änderungen an Ihrem Anwendungscode erforderlich sind.