RAG 引擎中的矢量数据库选项

本页介绍了 RAG Engine 上支持的矢量数据库选项。您还可以了解如何将向量数据库（向量存储）连接到 RAG 语料库。

LLM 的一个常见问题是，它们不理解私有知识，也就是您的组织的数据。借助 RAG Engine，您可以使用更多私密信息丰富 LLM 上下文，因为该模型可以减少幻觉并更准确地回答问题。

矢量数据库对于实现 RAG 应用的检索功能起着至关重要的作用。 矢量数据库提供了一种专门的方法来存储和查询向量嵌入，它们是文本或其他数据的数学表示法，用于捕获语义含义和关系。借助向量嵌入，RAG 系统能够在庞大的知识库中快速准确地找到最相关的信息，即使处理复杂或细微的查询也是如此。与嵌入模型结合使用时，矢量数据库可以帮助克服 LLM 的局限性，并提供更准确、更相关且更全面的回答。

支持的矢量数据库

创建 RAG 语料库时，RAG Engine 会提供 RagManagedDb 作为向量数据库的默认选项，无需额外预配或管理。如需让 RAG Engine 自动为您创建和管理矢量数据库，请参阅创建 RAG 语料库。

除了默认的 RagManagedDb 之外，RAG Engine 还允许您预配和引入矢量数据库，以便在 RAG 语料库中使用。在这种情况下，您负责矢量数据库的生命周期和可伸缩性。

比较矢量数据库选项

下表列出了 RAG Engine 支持的矢量数据库选项，并提供了指向说明如何在 RAG 语料库中使用矢量数据库的页面的链接。

如需确定哪个矢量数据库符合您的需求，请使用下表比较矢量数据库选项：

矢量数据库 说明 优势 缺点 RAG Engine 中支持的距离指标 搜索类型 RAG Engine 中的发布阶段 可用于生产环境 适用场景
RagManagedDb (default) RagManagedDb 是一种可按区域分布且可伸缩的数据库服务，可提供一致性和高可用性。

RagManagedDb 可用于向量搜索。
  • 无需任何设置。适合快速入门和小规模使用场景。
  • 一致性和高可用性。
  • 低延迟。
  • 非常适合事务性工作负载。
  • 容量是刻意限制的。
  • 不适用于大规模使用情形。
 cosine KNN 预览
  • 快速 PoC
  • ChatBots
  • RAG 应用
松果 Pinecone 是一款专为高性能相似度搜索而设计的全代管式云原生矢量数据库。
  • 快速上手。
  • 出色的可伸缩性和性能。
  • 专注于矢量搜索，并使用过滤和元数据搜索等高级功能。
  • 可从 Google Cloud、AWS 和 Azure 等云服务提供商中进行选择。
  • 最终一致，这意味着更新不会立即反映。
  • 可能比其他选项更昂贵。
  • 配额和限制会限制规模和性能。
  • 对底层基础设施的有限控制。
 cosine

euclidean

dot-product		 ANN 预览
  • 大量文档
  • 企业级 RAG
  • 管理矢量数据库基础架构
  • 现有 Pinecone 客户
Weaviate Weaviate 是一个开源矢量数据库，专注于灵活性和模块化。

Weaviate 支持各种数据类型，并提供内置图表功能。
  • Weaviate 是一个开源项目，拥有活跃的社区。
  • 高度灵活且可定制。
  • 支持针对不同模态（例如文本和图片）的各种数据类型和模块。
  • 可从 Google Cloud、AWS 和 Azure 等云服务提供商中进行选择。
  • 最终一致，这意味着更新不会立即反映。
  • 设置和管理可能更复杂。
  • 性能可能会因配置而异。
 cosine

dot-product

L2 squared

hamming

manhattan		 ANN + 混合搜索支持 预览
  • 大量文档
  • 企业级 RAG
  • 管理矢量数据库基础架构
  • 现有 Weaviate 客户
向量搜索 Vector Search 是 Vertex AI 中的矢量数据库服务。

Vector Search 针对机器学习任务进行了优化，并可与其他 Google Cloud 服务集成。
  • Vector Search 可与 Vertex AI 和其他 Google Cloud 服务集成。
  • Google Cloud 基础架构支持可伸缩性和可靠性。
  • 采用随用随付定价模式。
  • 最终一致，这意味着更新不会立即反映。
  • 新服务，功能不断完善。
  • 受制于 Google Cloud 的供应商。
  • 费用可能较高，具体取决于您的使用场景。
 cosine

dot-product		 ANN 预览
  • 大量文档
  • 企业级 RAG
  • 管理矢量数据库基础架构
  • 现有 Google Cloud 客户或希望使用多项 Google Cloud 服务的任何人
Vertex AI Feature Store

Vertex AI Feature Store 是一项代管式服务，用于整理、存储和提供机器学习特征。

Vertex AI Feature Store 针对机器学习任务进行了优化，并可与其他 Google Cloud 服务集成。
  • Vertex AI Feature Store 可与 Vertex AI 和其他 Google Cloud 服务集成。
  • Google Cloud 基础架构支持可伸缩性和可靠性。
  • 将现有 BigQuery 基础架构用作 Vertex AI Feature Store，从而提供经济高效且伸缩解决方案。
  • 手动同步完成后，网店中的更改便会生效。
  • 受制于 Google Cloud 的供应商。
 cosine

dot-product

L2 squared		 ANN 预览
  • 大量文档
  • 企业级 RAG
  • 管理矢量数据库基础架构
  • 现有 Google Cloud 客户或希望使用多项 Google Cloud 服务的客户

后续步骤