Vertex AI RAG 引擎中的向量数据库选项

本页面介绍了 Vertex AI RAG 引擎支持的向量数据库。您还可以了解如何将向量数据库(向量存储区)连接到 RAG 语料库。

向量数据库在为 RAG 应用实现检索功能方面发挥着至关重要的作用。向量数据库提供了一种专门用于存储和查询向量嵌入的方法,向量嵌入是文本或其他数据的数学表示法,可捕获语义含义和关系。借助向量嵌入,RAG 系统能够快速准确地在庞大的知识库中找到最相关的信息,即使在处理复杂或细致的查询时也是如此。与嵌入模型结合使用时,向量数据库可以帮助克服 LLM 的局限性,并提供更准确、更相关且更全面的回答。

支持的向量数据库

创建 RAG 语料库时,Vertex AI RAG 引擎提供适合企业的 RagManagedDb 作为默认向量数据库,无需进行额外预配或管理。RagManagedDb 同时提供 KNN 和 ANN 搜索选项,并允许切换到基本层级以便进行一些快速原型设计和实验。如需详细了解如何在 RagManagedDb 上选择检索策略或如需更新层级,请参阅RagManagedDb 与 RAG 搭配使用。如需让 Vertex AI RAG 引擎为您自动创建和管理向量数据库,请参阅创建 RAG 语料库

除了默认的 RagManagedDb 之外,Vertex AI RAG 引擎还允许您在 RAG 语料库中预配和使用自己的向量数据库。在这种情况下,您需要负责向量数据库的生命周期和可扩缩性。

比较向量数据库选项

下表列出了 Vertex AI RAG 引擎中支持的向量数据库选项,并提供了说明如何在 RAG 语料库中使用向量数据库的页面的链接。

向量数据库   优势   适用场景   缺点 支持的距离指标 搜索类型 发布阶段
RagManagedDb(默认)是一种按区域分布的可扩缩数据库服务,可提供极高的一致性和高可用性,并且可用于向量搜索。简单、快速
  • 无需任何设置。
  • 适用于企业级和小规模应用场景。
  • 一致性非常高。
  • 高可用性。
  • 低延迟。
  • 非常适合事务性工作负载。
  • 启用了 CMEK。
  • 生成大量文档。
  • 构建企业级 RAG。
  • 开发快速概念验证。
  • 降低预配和维护开销。
  • 与聊天机器人搭配使用。
  • 构建 RAG 应用。
  • 为实现最佳召回率,ANN 功能要求在对数据进行重大更改后重建索引。
cosine KNN(默认)和 ANN 已全面推出
Vector Search 是 Vertex AI 中的向量数据库服务,专门针对机器学习任务进行了优化。
  • 与其他 Google Cloud 服务集成。
  • Google Cloud 基础设施支持可扩缩性和可靠性。
  • 采用随用随付的定价方式。
  • 生成大量文档。
  • 构建企业级 RAG。
  • 管理向量数据库基础设施。
  • 现有 Google Cloud 客户或有意使用多个 Google Cloud 服务的任何人。
  • 更新不会立即得到反映。
  • 使用 Google Cloud时受制于供应商。
  • 费用可能较高,具体取决于应用场景。
cosine

dot-product
ANN 已全面推出
Vertex AI Feature Store 是一种托管式服务,用于整理、存储和处理机器学习特征。
  • 与 Vertex AI 和其他 Google Cloud 服务集成。
  • Google Cloud 基础设施支持可扩缩性和可靠性。
  • 利用现有的 BigQuery 基础设施。
  • 生成大量文档。
  • 构建企业级 RAG。
  • 管理向量数据库基础设施。
  • 现有 Google Cloud 客户或有意使用多个 Google Cloud 服务的客户。
  • 只有在执行手动同步后,在线存储区中才会反映出更改。
  • 使用 Google Cloud时受制于供应商。
cosine

dot-product

L2 squared
ANN 预览版
Weaviate 是一款灵活且模块化的开源向量数据库。
  • 支持各种数据类型,并提供内置的图表功能。
  • 提供开放源代码和活跃的社区。
  • 高度灵活且可自定义。
  • 支持各种数据类型和模块以用于不同模态(例如文本和图片)。
  • 可以选择云服务提供商,例如 Google Cloud、AWS 和 Azure。
  • 生成大量文档。
  • 构建企业级 RAG。
  • 管理向量数据库基础设施。
  • 现有 Weaviate 客户。
  • 更新不会立即得到反映。
  • 设置和管理可能更加复杂。
  • 性能可能会因配置而异。
cosine

dot-product

L2 squared

hamming

manhattan
ANN + 混合搜索支持 预览版
Pinecone 是一种全托管式云原生向量数据库,旨在实现高性能的相似性搜索。
  • 快速入门。
  • 出色的可扩缩性和性能。
  • 侧重于向量搜索,以及过滤和元数据搜索等高级功能。
  • 可以选择云服务提供商,例如 Google Cloud、AWS 和 Azure。
  • 生成大量文档。
  • 构建企业级 RAG。
  • 管理向量数据库基础设施。
  • 现有 Pinecone 客户。
  • 更新不会立即得到反映。
  • 可能比其他选项更昂贵。
  • 配额和限制会限制规模和性能。
  • 对底层基础设施的有限控制。
cosine

euclidean

dot-product
ANN 已全面推出

后续步骤