什么是检索增强生成 (RAG)?

RAG(检索增强生成)是一种 AI 框架,它将传统信息检索系统(例如数据库)的优势与生成式大语言模型 (LLM) 的功能结合在一起。通过将这些额外的知识与自己的语言技能相结合,AI 可以撰写更准确、更具时效性且更贴合您的具体需求的文字。

采用 Vertex AI Search 和 DIY RAG 为 Gemini 建立依据

检索增强生成是如何工作的?

RAG 通过几个主要步骤来帮助增强生成式 AI 输出:

  • 检索和预处理:RAG 利用强大的搜索算法查询外部数据,例如网页、知识库和数据库。检索完毕后,相关信息会进行预处理,包括标记化、词干提取和停用词移除。
  • 生成:经过预处理的检索到的信息接着会无缝整合到预训练的 LLM 中。此整合增强了 LLM 的上下文,使其能够更全面地理解主题。这种增强的上下文使 LLM 能够生成更精确、更翔实且更具吸引力的回答。

RAG 的运行方式是:首先使用 LLM 生成的查询从数据库中检索相关信息。然后,将这种检索到的信息整合到 LLM 的查询输入中,使其能够生成更准确且与上下文更相关的文本。RAG 利用矢量数据库,这种数据库存储数据的方式便于高效搜索和检索。

为何使用 RAG?

与传统的文本生成方法相比,RAG 具有多项优势,特别是在处理事实信息或数据驱动的回答时。以下是使用 RAG 大有助益的一些关键原因:

访问更新的信息

传统的 LLM 通常仅限于其预训练的知识和数据。这可能会导致回答可能已过时或不准确。为了克服此问题,RAG 授予了 LLM 访问外部信息来源的权限,从而确保回答的准确性和及时性。

事实依据

LLM 是用于生成富有创意且富有吸引力的文本的强大工具,但它们有时难以确保事实的准确性。这是因为 LLM 是使用大量文本数据训练的,其中可能包含不准确的信息或存在偏差的信息。

RAG 通过为 LLM 提供精选知识库来帮助解决这一问题,确保生成的文本以事实信息为基础。这使得 RAG 对准确性至关重要的应用(例如新闻报道、科学写作或客户服务)特别有价值。

注意:RAG 还可以帮助防止将幻觉发送给最终用户。LLM 仍会不时生成训练不完整的解决方案,但 RAG 技术有助于改善用户体验。

上下文相关性

RAG 中的检索机制可确保检索到的信息与输入查询或上下文相关。

通过为 LLM 提供与上下文相关的信息,RAG 能够帮助该模型生成更加连贯和符合给定上下文的回答。

这种上下文基础有助于减少无关或离题回答的生成。

事实一致性

RAG 鼓励 LLM 生成与检索到的事实信息一致的回答。

通过根据检索到的知识来调节生成过程,RAG 有助于最大限度地减少所生成文本中的矛盾和不一致之处。

这促进了事实的一致性,并降低生成虚假或误导性信息的可能性。

利用矢量数据库

RAG 利用矢量数据库高效地检索相关文档。矢量数据库将文档作为矢量存储在高维空间中,允许基于语义相似度快速、准确地进行检索。

提高回答的准确性

RAG 为 LLM 提供与上下文相关的信息,从而对 LLM 起到补充作用。然后,LLM 可以利用这些信息生成更连贯、更翔实且更准确的回答,甚至是多模态回答。

RAG 和聊天机器人

RAG 可以集成到聊天机器人系统中,以增强其对话能力。通过访问外部信息,由 RAG 提供支持的聊天机器人有助于利用外部知识提供更加全面、翔实和上下文内容感知的回答,从而改善整体用户体验。

更进一步

获享 $300 赠金以及 20 多种提供“始终免费”用量的产品,开始在 Google Cloud 上构建项目。

Google Cloud
  • ‪English‬
  • ‪Deutsch‬
  • ‪Español‬
  • ‪Español (Latinoamérica)‬
  • ‪Français‬
  • ‪Indonesia‬
  • ‪Italiano‬
  • ‪Português (Brasil)‬
  • ‪简体中文‬
  • ‪繁體中文‬
  • ‪日本語‬
  • ‪한국어‬
控制台