Model Armor dapat diintegrasikan dengan Google Kubernetes Engine (GKE) melalui Ekstensi Layanan. Ekstensi Layanan memungkinkan Anda menambahkan logika kustom ke jalur pemrosesan traffic jaringan. Ekstensi traffic adalah jenis ekstensi layanan tertentu yang memungkinkan Anda mengintegrasikan layanan eksternal untuk memproses traffic. Ekstensi ini dapat dilampirkan ke berbagai layanan, termasuk load balancer. Google Cloud Anda dapat mengonfigurasi ekstensi layanan di load balancer aplikasi, termasuk gateway inferensi GKE, untuk menyaring traffic ke dan dari cluster GKE. Hal ini memastikan bahwa semua interaksi dengan model AI dilindungi oleh Model Armor. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi ekstensi traffic untuk memanggil layanan Model Armor.
Cara kerjanya
- Anda mengonfigurasi ekstensi layanan pada load balancer yang mengarahkan traffic ke LLM yang dihosting di cluster GKE Anda. Konfigurasi ini menentukan bahwa Model Armor harus digunakan untuk menyaring perintah dan respons.
- Saat perintah dan respons mencapai load balancer, ekstensi layanan memanggil layanan Model Armor.
- Kemudian, Model Armor menerapkan kebijakan keamanan pada perintah dan respons, mengidentifikasi dan memblokir konten berbahaya atau jahat.
- Hanya perintah dan respons yang lulus pemeriksaan Model Armor yang diizinkan masuk ke cluster GKE atau kembali kepada Anda.