2023-11-22引入混合检索（Hybrid Search）和重排序（Rerank）改进 RAG 系统召回效果
输入“/”快速插入内容
2023-11-22引入混合检索（Hybrid Search）和重排序（Rerank）改进 RAG 系统召回效果
2023-11-22引入混合检索（Hybrid Search）和重排序（Rerank）改进 RAG 系统召回效果
飞书用户18612024年1月10日修改
Dify 2023-11-22 09:16 发表于 美国
手机阅读
编者荐语：
Dify.AI 提供了一个强大的 RAG 引擎，提升 LLM 对外挂知识库的检索精确度。 Dify.AI 产品经理何文斯将在本文阐述关于引入混合检索和重排序来提升 RAG 系统召回的方法，这也正是 Dify RAG 引擎中所采取的策略，一起来一探究竟吧！
以下文章来源于何文斯 ，作者何文斯
何文斯 .
AI小厂产品经理/成为独立开发者的路上/Notion初学者/偶尔扫街📷
我相信在当下这个时间点，每一个大模型应用开发者对 RAG（Retrieval Augmented Generation）的技术概念都已经不再陌生。在着手写这篇文章之前，我观察到仍有不少技术文章将 RAG 简单归纳为基于 Embedding 的向量检索技术与大模型生成技术的结合。
但实际上，经过近一年各行各业的开发者们在 RAG 应用方向上的探索和实验，大家已经普遍意识到一个问题： 仅仅通过向量检索技术来构建 RAG 应用是完全不够的，尤其是当他们想将自己的应用投入生产环境时 。
9 月份时，Microsoft Azure AI 在官方博客上发布了一篇《Azure 认知搜索：通过混合检索和排序能力超越向量搜索》， 文章对在 RAG 架构的生成式 AI 应用中引入混合检索和重排序技术做了完整的实验数据评估，量化了该技术组合对改善文档召回率和准确性方面的显著效果 。
看到这篇文章之后，我查阅了大量相关中英文资料，发现中文互联网对这项技术的讨论尚少。
本文作为一篇关于混合检索和重排序的技术入门文章，一方面会介绍这两项技术的基本原理，解释其为什么能改善 RAG 系统的召回效果。另一方面也会讨论到构建生产级 RAG 应用的复杂性。
作为一篇技术入门文章，为了便于理解，我先用通俗的语言快速解释一下什么是 RAG 系统。
RAG 概念解释
检索增强生成（RAG，Retrieval Augmented Generation）
今年，以向量检索为核心的 RAG 架构成为解决大模型获取最新外部知识，同时解决其生成幻觉问题时的主流技术框架，并且已在相当多的应用场景中落地实践。
开发者可以利用该技术低成本地构建一个 AI 智能客服、企业智能知识库、AI 搜索引擎等，通过自然语言输入与各类知识组织形式进行对话。以一个有代表性的 RAG 应用为例：
在下图中，当用户提问时 “美国总统是谁？” 时，系统并不是将问题直接交给大模型来回答，而是先将用户问题在知识库中（如下图中的维基百科）进行向量搜索，通过语义相似度匹配的方式查询到相关的内容（拜登是美国现任第46届总统…），然后再将用户问题和搜索到的相关知识提供给大模型，使得大模型获得足够完备的知识来回答问题，以此获得更可靠的问答结果。