使用 Cloud Run 托管 AI 代理。AI 代理可以作为 Cloud Run 服务实现,以对话方式执行任务并向用户提供信息。Cloud Run 提供自动扩缩和高可伸缩性,无需预配资源,并且只按实际用量计费。AI 客服人员可用于各种用途,例如客户服务、虚拟助理和内容生成。
您可以将 Cloud Run 服务用作可伸缩的 API 端点,以处理来自最终用户的提示。您的服务运行 AI 编排框架(例如 LangChain、LangGraph 或 Firebase Genkit),该框架会编排对以下各项的调用:
- AI 模型,例如 Gemini API、Vertex AI 端点或其他支持 GPU 的 Cloud Run 服务。
- 具有
pgvector
扩展程序的向量数据库,例如 Cloud SQL for PostgreSQL 或 AlloyDB for PostgreSQL。 - 其他服务或 API。
如需了解更详细的架构,请参阅使用 Vertex AI 和 AlloyDB for PostgreSQL 且支持 RAG 的生成式 AI 应用的基础架构。
如需了解如何将 Firebase Genkit 部署到 Cloud Run,请参阅 Firebase Genkit 文档。
通过完成 codelab,了解如何构建 LangChain 应用并将其部署到 Cloud Run。