利用 Apigee 实现企业级生成式 AI

Apigee 的核心 API 网关功能包括用于管理 AI 应用流量的原生功能，可为服务使用提供一致的 API 合约。  

功能包括：

• 模型抽象
• 多云模型路由
• 请求/响应扩充
• RAG 集成
• 代理与第三方系统的连接（使用 Google Cloud 的 Application Integration 平台）
• 用于实现高可用性的 LLM 断路器模式
• 语义缓存

AI 代理使用 LLM 的功能为最终用户完成任务。您可以使用各种工具来构建这些代理，例如 Agentspace 等无代码和低代码平台，以及 LangChain 或 LlamaIndex 等全代码框架。Apigee 充当 AI 应用与其代理之间的中介。

现在，借助 Apigee 中正式发布的 Gemini Code Assist，您可以在 Cloud Code 和 Gemini Chat 界面中使用自然语言快速创建 API 规范。通过 API Hub 利用组织的 API 生态系统，可提供企业上下文，用于通过嵌套对象支持和主动重复 API 检测，实现一致且安全的 API。

功能包括：

• Apigee API Hub，用于编制第一方和第三方 API 和工作流的目录
• 强制实施 token 限额，以控制费用
• 多代理编排
• 身份验证和授权
• 语义缓存，以优化性能
• 通过企业上下文中生成 API 规范（使用 Gemini Code Assist）

Apigee 的原生政策和分发功能使生成式 AI 平台团队能够高效地管理 AI 应用以及 LLM 的使用情况。

功能包括：

• 集成式开发者门户，可自助访问模
• 基于政策的精细控制，用于控制模型访问权限和用量限额
• 监控和报告 token 用量限额
• LLM 审核和日志记录

Apigee 可为 AI 应用提供深入的可观测性，帮助您管理和优化生成式 AI 费用，并高效管理组织的 AI 使用情况。

功能包括：

• 查看模型使用情况和应用 token 使用情况
• 内部费用报告和优化
• 自定义信息中心，可根据实际 token 数量监控使用情况（通过与 Looker Studio 集成）
• AI 应用的日志记录

Apigee 充当 LLM API 的安全网关，让您可以使用 API 密钥、OAuth 2.0 和 JWT 验证来控制访问权限，并通过实施速率限制和配额来防止滥用和过载。Apigee Advanced API Security 可提供更高级的保护。

功能：

• Model Armor 集成和政策执行，以对提示和回答进行清理
• 身份验证和授权
• 滥用和异常检测
• 防范 OWASP 十大 API 和 LLM 安全风险
• LLM API 安全错误配置检测
• Google SecOps 与第三方 SIEM 集成