Model Armor 可與多項 Google Cloud 服務整合:
- Google Kubernetes Engine (GKE) 和服務擴充功能
- Vertex AI
GKE 和 Service Extensions
Model Armor 可透過服務擴充功能與 GKE 整合。Service Extensions 可讓您整合內部 (Google Cloud 服務) 或外部 (使用者管理) 服務,以處理流量。您可以在應用程式負載平衡器 (包括 GKE 推論閘道) 上設定服務擴充功能,篩選進出 GKE 叢集的流量。這項驗證可確保所有與 AI 模型的互動都受到 Model Armor 保護。詳情請參閱「與 GKE 整合」一文。
Vertex AI
您可以透過底限設定或範本,將 Model Armor 直接整合至 Vertex AI。這項整合功能會篩選 Gemini 模型要求和回覆,並封鎖違反底限設定的內容。這項整合功能可為 generateContent
方法,在 Vertex AI 的 Gemini API 中提供提示和回覆保護機制。您必須啟用 Cloud Logging,才能查看提示和回覆的清除結果。詳情請參閱「與 Vertex AI 整合」。
事前準備
整合 Model Armor 時的選項
Model Armor 提供下列整合選項。每種選項提供的功能和能力都不盡相同。
整合選項 | 政策強制執行者/偵測器 | 設定偵測作業 | 僅限檢查 | 檢查並封鎖 | 模型和雲端涵蓋範圍 |
---|---|---|---|---|---|
REST API | 偵測工具 | 僅使用範本 | 是 | 是 | 所有模型和所有雲端 |
Vertex AI (搶先版) | 內嵌強制執行 | 使用底限設定或範本 | 是 | 是 | Gemini (非串流) 版 Google Cloud |
Google Kubernetes Engine (搶先版) | 內嵌強制執行 | 僅使用範本 | 是 | 是 | 模型 (Open AI 格式) Google Cloud |
如果是 REST API 整合選項,Model Armor 只會使用範本做為偵測器。也就是說,這項工具主要會根據預先定義的範本,找出並回報潛在的政策違規行為,而不是主動防範。
透過 Vertex AI 整合選項,Model Armor 可使用底價設定或範本提供內嵌強制執行功能。也就是說,Model Armor 會直接介入程序,主動強制執行政策,不需修改應用程式程式碼。
與 Vertex AI 類似,GKE 整合選項也只提供使用範本的內嵌強制執行功能。這表示 Model Armor 可以在推論閘道中直接強制執行政策,不必修改應用程式碼。