Model Armor 概览

Model Armor 是一项全代管式 Google Cloud 服务，可通过检查 LLM 问题和回答是否存在各种安全和安全风险，从而增强 AI 应用的安全性。Model Armor 提供了多项功能，包括：

  • 与模型和云平台无关：Model Armor 旨在支持任何云平台上的任何模型。这包括多云和多模型场景，可帮助您根据具体需求选择最佳 AI 解决方案。
  • 集中管理和强制执行：Model Armor 支持集中管理和强制执行安全和安全政策。
  • 公开 REST API：Model Armor 提供了一个公开 REST API，可让您将问题和回答筛查直接集成到应用中。这种基于 API 的方法支持各种部署场景。
  • 基于角色的访问控制 (RBAC)：Model Armor 采用基于角色的访问控制 (RBAC) 来管理服务中的访问权限，以便不同用户角色拥有适当的控制权和可见性级别。
  • 区域端点：Model Armor 的 API 使用区域端点公开，可提供低延迟。
  • 多个区域：您可以在美国和欧洲的多个区域使用模特防护功能。
  • 与 Security Command Center 的集成：Model Armor 已与 Security Command Center 集成，您可以在 Security Command Center 信息中心中查看发现结果，并从源头识别违规行为并加以修复。
  • 安全和保障功能：
    • 安全和负责任 AI 过滤器：Model Armor 提供内容安全过滤器，可解决露骨色情、危险、骚扰和仇恨言论内容等问题。
    • 提示注入和越狱检测：Model Armor 包含用于检测和防范提示注入和越狱攻击的功能。
    • 使用敏感数据保护功能实现数据泄露防范 (DLP)：Model Armor 包含 Google Cloud 敏感数据保护服务的全部功能，可提供数据泄露防范功能。它可以发现、分类和保护敏感数据（例如源代码等知识产权或信用卡号等个人身份信息），防止在 LLM 互动中未经授权泄露。
    • 恶意网址检测：Model Armor 能够识别问题和回答中的恶意网址，从而增强 AI 应用的安全状况。
    • 支持筛查 PDF 文件：Model Armor 支持筛查 PDF 文件中的文本是否包含恶意内容。

优势

Model Armor 可为组织带来多项优势，包括：

  • 增强 AI 安全性和可靠性：Model Armor 可帮助组织降低与使用 LLM 相关的安全和可靠性风险。它可解决提示注入和越狱攻击、有害内容生成、恶意网址和敏感数据丢失等问题，让 LLM 能够安全可靠地集成到产品和服务中。
  • 集中式可见性和控制：Model Armor 可集中管理所有 LLM 应用，让首席信息安全官 (CISO) 和安全架构师能够监控和控制安全和安全政策。
  • 灵活的部署选项：Model Armor 支持多云、多模型和多 LLM 场景，可在 LLM 应用架构的不同位置部署，让组织能够灵活地将其集成到现有基础架构和工作流中。
  • 自定义和集成：Model Armor 支持自定义政策以适应特定的应用用例，并可集成到现有操作工作流中，从而满足 CTO/开发者和 CISO/安全架构师的需求。

架构

Model Armor 架构

此架构图显示了使用 Model Armor 保护 LLM 和用户的应用。以下步骤介绍了数据流。

  1. 用户向应用提供提示。
  2. Model Armor 会检查传入的提示是否包含潜在敏感内容。
  3. 系统会将提示（或经过清理处理的提示）发送到 LLM。
  4. LLM 会生成回答。
  5. Model Armor 会检查生成的回答是否包含潜在敏感内容。
  6. 系统会将响应（或经过过滤的响应）发送给用户。 Model Armor 会在响应中发送有关触发的过滤条件和未触发的过滤条件的详细说明。

简而言之，模型装甲可充当过滤器，同时检查输入（提示）和输出（响应），以确保 LLM 不会泄露或提供任何恶意或敏感的输入或输出。

使用场景

以下是各个行业中 Model Armor 用例的一些示例：

  • 安全

    • 组织可以通过以下方式降低敏感知识产权 (IP) 和个人身份信息 (PII) 泄露的风险：避免在 LLM 问题或回答中包含此类信息。
    • 组织可以防范提示注入和越狱攻击，防止恶意行为者操纵 AI 系统执行意外操作。
    • 组织可以扫描 PDF 中的文本，看是否存在敏感或恶意内容。

  • 安全且负责任的 AI

    • 组织可以阻止聊天机器人推荐竞争对手的解决方案，从而维护品牌完整性和客户忠诚度。
    • 组织可以过滤其 AI 生成的社交媒体帖子，以滤除包含有害信息（例如危险或仇恨内容）的帖子。

区域端点

模型防护是一款区域性产品，该 API 使用区域性端点公开。支持以下区域端点：

  • 美国

    • 爱荷华（us-central1 区域）：modelarmor.us-central1.rep.googleapis.com

    • 北弗吉尼亚州（us-east4 区域）：modelarmor.us-east4.rep.googleapis.com

    • 俄勒冈（us-west1 区域）：modelarmor.us-west1.rep.googleapis.com

  • 欧洲

    • 荷兰（europe-west4 地区）：modelarmor.europe-west4.rep.googleapis.com

价格

您可以将 Model Armor 作为 Security Command Center 的集成部分购买，也可以作为一项独立服务购买。如需了解 Security Command Center 和独立方案的价格，请参阅 Security Command Center 价格。

注意事项

使用模型装甲时，请考虑以下事项：

  • 提示注入和越狱检测过滤器最多支持 512 个令牌，其余过滤器最多支持 2000 个令牌。
  • 楼层设置无法强制执行敏感数据保护。
  • Model Armor 支持文本和 PDF 格式。 在 PDF 中，模型保护功能仅扫描文本内容。

后续步骤