Integrazione di Model Armor con i servizi Google Cloud

Model Armor si integra con vari servizi: Google Cloud

  • Google Kubernetes Engine (GKE) ed estensioni di servizio
  • Vertex AI

GKE e Service Extensions

Model Armor può essere integrato con GKE tramite le estensioni di servizio. Le estensioni di servizio consentono di integrare servizi interni (Google Cloud ) o esterni (gestiti dall'utente) per elaborare il traffico. Puoi configurare un'estensione di servizio sui bilanciatori del carico delle applicazioni, inclusi i gateway di inferenza GKE, per filtrare il traffico da e verso un cluster GKE. In questo modo viene verificato che tutte le interazioni con i modelli di AI siano protette da Model Armor. Per maggiori informazioni, consulta Integrazione con GKE.

Vertex AI

Model Armor può essere integrato direttamente in Vertex AI utilizzando le impostazioni di base o i modelli. Questa integrazione esamina le richieste e le risposte del modello Gemini, bloccando quelle che violano le impostazioni di base. Questa integrazione fornisce la protezione di prompt e risposte all'interno dell'API Gemini in Vertex AI per il metodo generateContent. Devi attivare Cloud Logging per ottenere visibilità sui risultati della sanificazione di prompt e risposte. Per ulteriori informazioni, consulta Integrazione con Vertex AI.

Prima di iniziare

Abilita API

Prima di poter utilizzare Model Armor, devi abilitare le API Model Armor.

Console

  1. Enable the Model Armor API.

    Enable the API

  2. Seleziona il progetto in cui vuoi attivare Model Armor.

gcloud

Prima di iniziare, segui questi passaggi utilizzando Google Cloud CLI con l'API Model Armor:

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. Esegui questo comando per impostare l'endpoint API per il servizio Model Armor.

    gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"

    Sostituisci LOCATION con la regione in cui vuoi utilizzare Model Armor.

  3. Esegui questo comando per attivare Model Armor.

      gcloud services enable modelarmor.googleapis.com --project=PROJECT_ID
       

    Sostituisci PROJECT_ID con l'ID del progetto.

    Opzioni durante l'integrazione di Model Armor

    Model Armor offre le seguenti opzioni di integrazione. Ogni opzione offre funzionalità e capacità diverse.

    Opzione di integrazione Policy enforcer/detector Configura i rilevamenti Solo ispezione Ispeziona e blocca Copertura di modelli e cloud
    API REST Rilevatore Utilizzo esclusivo di modelli Tutti i modelli e tutti i cloud
    Vertex AI (anteprima) Applicazione in linea Utilizzo delle impostazioni di base o dei modelli Gemini (non in streaming) su Google Cloud
    Google Kubernetes Engine (anteprima) Applicazione in linea Utilizzo esclusivo di modelli Modelli con formato Open AI su Google Cloud

    Per l'opzione di integrazione dell'API REST, Model Armor funziona come rilevatore solo utilizzando i modelli. Ciò significa che identifica e segnala principalmente potenziali violazioni delle norme in base a modelli predefiniti, anziché prevenirle attivamente.

    Con l'opzione di integrazione di Vertex AI, Model Armor fornisce l'applicazione in linea utilizzando le impostazioni minime o i modelli. Ciò significa che Model Armor applica attivamente i criteri intervenendo direttamente nel processo senza richiedere modifiche al codice dell'applicazione.

    Analogamente a Vertex AI, l'opzione di integrazione GKE offre anche l'applicazione incorporata solo utilizzando i modelli. Ciò indica che Model Armor può applicare le norme direttamente all'interno del gateway di inferenza senza richiedere modifiche al codice dell'applicazione.