Integrasi Model Armor dengan layanan Google Cloud

Model Armor terintegrasi dengan berbagai layanan Google Cloud :

  • Google Kubernetes Engine (GKE) dan Ekstensi Layanan
  • Vertex AI

GKE dan Ekstensi Layanan

Model Armor dapat diintegrasikan dengan GKE melalui Ekstensi Layanan. Ekstensi Layanan memungkinkan Anda mengintegrasikan layanan internal (layananGoogle Cloud ) atau eksternal (dikelola pengguna) untuk memproses traffic. Anda dapat mengonfigurasi ekstensi layanan di load balancer aplikasi, termasuk gateway inferensi GKE, untuk menyaring traffic ke dan dari cluster GKE. Hal ini memverifikasi bahwa semua interaksi dengan model AI dilindungi oleh Model Armor. Untuk mengetahui informasi selengkapnya, lihat Integrasi dengan GKE.

Vertex AI

Model Armor dapat diintegrasikan langsung ke Vertex AI menggunakan setelan batas bawah atau template. Integrasi ini menyaring permintaan dan respons model Gemini, memblokir permintaan dan respons yang melanggar setelan batas bawah. Integrasi ini memberikan perlindungan perintah dan respons dalam Gemini API di Vertex AI untuk metode generateContent. Anda harus mengaktifkan Cloud Logging untuk mendapatkan visibilitas ke dalam hasil pembersihan perintah dan respons. Untuk mengetahui informasi selengkapnya, lihat Integrasi dengan Vertex AI.

Sebelum memulai

Mengaktifkan API

Anda harus mengaktifkan Model Armor API sebelum dapat menggunakan Model Armor.

Konsol

  1. Enable the Model Armor API.

    Enable the API

  2. Pilih project tempat Anda ingin mengaktifkan Model Armor.

gcloud

Sebelum memulai, ikuti langkah-langkah berikut menggunakan Google Cloud CLI dengan Model Armor API:

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

    At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

  2. Jalankan perintah berikut untuk menetapkan endpoint API untuk layanan Model Armor.

    gcloud config set api_endpoint_overrides/modelarmor "https://modelarmor.LOCATION.rep.googleapis.com/"

    Ganti LOCATION dengan region tempat Anda ingin menggunakan Model Armor.

  3. Jalankan perintah berikut untuk mengaktifkan Model Armor.

      gcloud services enable modelarmor.googleapis.com --project=PROJECT_ID
       

    Ganti PROJECT_ID dengan ID project.

    Opsi saat mengintegrasikan Model Armor

    Model Armor menawarkan opsi integrasi berikut. Setiap opsi menyediakan fitur dan kemampuan yang berbeda.

    Opsi integrasi Penegak/pendeteksi kebijakan Mengonfigurasi deteksi Hanya periksa Memeriksa dan memblokir Cakupan model dan cloud
    REST API Pendeteksi Hanya menggunakan template Ya Ya Semua model dan semua cloud
    Vertex AI (Pratinjau) Penerapan inline Menggunakan setelan minimum atau template Ya Ya Gemini (non-streaming) di Google Cloud
    Google Kubernetes Engine (Pratinjau) Penerapan inline Hanya menggunakan template Ya Ya Model dengan format Open AI di Google Cloud

    Untuk opsi integrasi REST API, Model Armor berfungsi sebagai detektor hanya menggunakan template. Artinya, alat ini terutama mengidentifikasi dan melaporkan potensi pelanggaran kebijakan berdasarkan template yang telah ditentukan, bukan secara aktif mencegahnya.

    Dengan opsi integrasi Vertex AI, Model Armor memberikan penegakan inline menggunakan setelan atau template batas bawah. Artinya, Model Armor secara aktif menerapkan kebijakan dengan melakukan intervensi langsung dalam proses tanpa memerlukan modifikasi pada kode aplikasi Anda.

    Mirip dengan Vertex AI, opsi integrasi GKE juga menawarkan penerapan inline hanya menggunakan template. Hal ini menunjukkan bahwa Model Armor dapat menerapkan kebijakan langsung dalam gateway inferensi tanpa memerlukan modifikasi pada kode aplikasi Anda.