广州 美容 公司 网站建设,做好系部宣传和网站建设,济南高新区 网站制作,夏天做那些网站致富前言 今天想和大家深入探讨一下检索增强生成#xff08;RAG#xff09;中的一个重要环节——重排序#xff08;Rerank#xff09;。 RAG 技术一直以来都备受关注#xff0c;尤其是当它与大模型#xff08;LLM#xff09;结合后#xff0c;人们都满怀期待地认为#xf…前言今天想和大家深入探讨一下检索增强生成RAG中的一个重要环节——重排序Rerank。RAG 技术一直以来都备受关注尤其是当它与大模型LLM结合后人们都满怀期待地认为这下终于可以轻松解决那些复杂的问答任务了然而现实往往并不如人意。很多开发者在完成一个 RAG 流程后都会感到困惑为什么它的效果并没有达到预期呢其实和大多数工具一样RAG 的使用虽然简单但想要真正精通却并非易事。事实上RAG 并不仅仅是将文档存储到向量数据库中然后在其上简单地添加一个 LLM。虽然这种方式在某些情况下可能会奏效但并不总是有效。因此今天我们就来聊聊当现有的 RAG 流程无法达到理想效果时我们该怎么办。如果你经常遇到 RAG 表现欠佳的情况这里有一个最容易且最快实施的解决方案——重排序Rerank。1、召回率与上下文窗口在深入探讨解决方案之前我们先来剖析一下传统 RAG检索增强生成流程中存在的问题。在 RAG 的应用中我们常常需要对海量的文本文档进行语义搜索这些文档的数量可能从几万篇到几百亿篇不等。为了在大规模搜索中保证足够的速度我们通常会采用向量搜索技术。具体来说就是将文本转换为向量形式将它们放置在同一个向量空间中然后利用余弦相似度等相似性度量方法来比较这些向量与查询向量之间的接近程度。向量搜索的关键在于向量本身。这些向量本质上是将文本背后的“含义”压缩成一个低维向量通常是 768 维或 1024 维。然而这种压缩过程不可避免地会导致部分信息的丢失。由于信息丢失我们常常会遇到这样的情况向量搜索返回的前几篇文档中可能遗漏了重要的相关信息。而这些相关信息可能出现在我们设置的 top_k 阈值之外。那么如果这些位置靠后的相关信息能够帮助我们的 LLM大型语言模型生成更好的回答我们该怎么办呢最直接的方法就是增加返回的文档数量提高 top_k 值并将这些文档全部传递给 LLM。这里涉及到的衡量指标是召回率它表示的是“我们检索到了多少相关文档”。召回率并不考虑检索到的文档总数因此我们可以通过返回所有文档来“操纵”这个指标从而得到完美的召回率。然而我们并不能返回所有文档。LLM 对于能够接收的文本量是有限制的这个限制被称为上下文窗口。例如Anthropic 的 Claude 这样的 LLM其上下文窗口可以达到 100K 个 Token这意味着我们可以放入几十页的文本。那么我们是否可以通过返回大量文档尽管不能是全部并“填满”上下文窗口来提高召回率呢答案是否定的。我们不能使用上下文填充的方法因为这会降低 LLM 的*召回性能*。这里所说的 LLM 的召回率与我们之前讨论的检索召回率是不同的概念。研究表明随着我们在上下文窗口中放入更多的标记LLM 的召回率会逐渐降低。当我们填满上下文窗口时LLM 也不太可能遵循指令因此上下文填充并不是一个好的解决方案。这就引出了一个问题我们可以通过增加向量数据库返回的文档数量来提高检索召回率但如果把这些文档全部传递给 LLM就会损害 LLM 的召回率。那么我们该怎么办呢解决这个问题的方法是通过检索大量文档来最大化检索召回率然后通过最小化传递给 LLM 的文档数量来最大化 LLM 的召回率。要做到这一点我们需要对检索到的文档进行重新排序只保留对 LLM 最相关的文档。而实现这一操作的关键就是重排序Rerank。2、Rerank 的强大之处重排序模型也被称为交叉编码器是一种特殊的模型。它接收一个查询和文档对作为输入并输出一个表示相似度的分数。我们利用这个分数根据文档与查询的相关性对文档进行重新排序。在现代检索系统中通常采用两阶段检索的策略。在第一阶段通常会使用一个双编码器或稀疏嵌入模型来从大规模数据集中快速检索出一组相关文档。这些模型能够在海量数据中高效地筛选出初步的候选文档集合。然后在第二阶段重排序模型Rerank登场。它的任务是对第一阶段检索到的文档进行更细致的重新排序。Rerank 模型通过更复杂的计算对文档的相关性进行更精准的评估从而提升最终返回结果的质量。搜索工程师们在两阶段检索系统中使用 Rerank 已经有很长时间了。这种策略的核心在于从大数据集中检索出一小部分文档的速度远远快于对大量文档进行重新排序的速度。简单来说Rerank 的运行速度相对较慢而检索器的运行速度非常快。为什么采用两阶段检索采用两阶段检索的原因主要有以下几点第一、效率与精度的平衡第一阶段检索阶段使用双编码器或稀疏嵌入模型能够在大规模数据集中快速检索出一组相关文档。这些模型的设计目标是高效地筛选出初步的候选文档集合虽然它们的精度可能有限但速度非常快。第二阶段重排序阶段Rerank 模型对第一阶段检索到的文档进行重新排序。虽然 Rerank 的运行速度较慢但它能够更精准地评估文档的相关性从而提升最终返回结果的质量。第二、资源优化如果直接对大规模数据集进行重新排序计算成本会非常高昂且效率低下。通过两阶段检索第一阶段快速筛选出一小部分文档第二阶段再对这些文档进行精细排序这样可以显著降低计算资源的消耗。第三、灵活性与扩展性两阶段检索系统允许在不同阶段使用不同的模型和技术。例如第一阶段可以使用高效的向量检索模型第二阶段可以使用更复杂的交叉编码器模型。这种分阶段的策略使得系统更加灵活可以根据具体需求进行优化和扩展。重排序模型的作用重排序模型Rerank在两阶段检索系统中扮演着至关重要的角色。它通过对第一阶段检索到的文档进行重新排序确保最终返回的文档不仅数量适中而且相关性更高。具体来说Rerank 的作用包括提升相关性通过更复杂的计算Rerank 能够更精准地评估文档与查询的相关性从而提升最终返回结果的质量。优化上下文窗口由于 LLM 的上下文窗口有限Rerank 可以帮助我们在有限的上下文窗口中选择最相关的文档从而最大化 LLM 的性能。减少噪声Rerank 可以去除那些虽然在第一阶段被检索到但实际相关性较低的文档从而减少噪声提高系统的整体性能。3、为什么要用 Rerank如果 Rerank 的速度这么慢那为什么我们还要使用它呢答案很简单Rerank 比嵌入模型要准确得多。第一、双编码器的局限性双编码器模型的准确性较低主要有两个原因1、信息压缩导致的丢失双编码器需要将一个文档的所有可能含义压缩成一个单一的向量。这种压缩过程不可避免地会导致信息丢失。因为向量的维度是固定的而文档的含义可能是多维度的。例如一个文档可能包含多种主题和细节但双编码器只能将其压缩成一个固定维度的向量这就导致了部分信息的丢失。2、缺乏查询上下文双编码器在处理文档时没有查询的上下文信息。因为在用户查询之前我们已经创建了文档的嵌入向量。这意味着双编码器无法根据具体的查询来调整文档的表示。例如同一个文档在不同的查询下可能有不同的相关性但双编码器无法动态地调整文档的向量以适应不同的查询。第二、Rerank 的优势相比之下Rerank 模型具有显著的优势1、直接处理原始信息Rerank 模型可以直接处理原始的文档和查询信息而不是依赖于压缩后的向量。这意味着信息丢失更少能够更准确地评估文档与查询的相关性。例如Rerank 模型可以分析文档中的具体句子和段落而不是仅仅依赖于一个固定的向量表示。2、动态分析文档含义因为 Rerank 是在用户查询时运行的所以可以根据具体的查询来分析文档的特定含义而不是试图生成一个通用的、平均的含义。例如对于一个包含多种主题的文档Rerank 可以根据用户的查询动态地提取与查询最相关的部分从而提高相关性评估的准确性。第三、Rerank 的代价尽管 Rerank 模型在准确性上有显著优势但它也有一个明显的代价——时间。1、双编码器模型双编码器模型将文档或查询的含义压缩成一个单一向量。在用户查询时双编码器以与处理文档相同的方式处理查询。例如假设你有 4000 万条记录使用编码器模型和向量搜索同样的操作可以在不到 100 毫秒内完成。2、Rerank 模型Rerank 模型需要直接处理原始文档和查询计算复杂度更高因此速度较慢。例如使用像 BERT 这样的小型重排序模型在 V100 GPU 上为了返回一个查询结果可能需要等待 50 多个小时。4、总结尽管 Rerank 模型的运行速度较慢但其在准确性上的优势使其在许多场景中不可或缺。通过两阶段检索系统我们可以在第一阶段快速筛选出候选文档然后在第二阶段通过 Rerank 模型进行精细排序从而在保证效率的同时显著提升检索结果的质量。这种策略在处理复杂的问答任务和生成任务时尤为重要因为它能够确保最终返回的文档不仅数量适中而且相关性更高。最后唠两句为什么AI大模型成为越来越多程序员转行就业、升职加薪的首选很简单这些岗位缺人且高薪智联招聘的最新数据给出了最直观的印证2025年2月AI领域求职人数同比增幅突破200% 远超其他行业平均水平整个人工智能行业的求职增速达到33.4%位居各行业榜首其中人工智能工程师岗位的求职热度更是飙升69.6%。AI产业的快速扩张也让人才供需矛盾愈发突出。麦肯锡报告明确预测到2030年中国AI专业人才需求将达600万人人才缺口可能高达400万人这一缺口不仅存在于核心技术领域更蔓延至产业应用的各个环节。那0基础普通人如何学习大模型 深耕科技一线十二载亲历技术浪潮变迁。我见证那些率先拥抱AI的同行如何建立起效率与薪资的代际优势。如今我将积累的大模型面试真题、独家资料、技术报告与实战路线系统整理分享于此为你扫清学习困惑共赴AI时代新程。我整理出这套 AI 大模型突围资料包【允许白嫖】✅从入门到精通的全套视频教程✅AI大模型学习路线图0基础到项目实战仅需90天✅大模型书籍与技术文档PDF✅各大厂大模型面试题目详解✅640套AI大模型报告合集✅大模型入门实战训练这份完整版的大模型 AI 学习和面试资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】①从入门到精通的全套视频教程包含提示词工程、RAG、Agent等技术点② AI大模型学习路线图0基础到项目实战仅需90天全过程AI大模型学习路线③学习电子书籍和技术文档市面上的大模型书籍确实太多了这些是我精选出来的④各大厂大模型面试题目详解⑤640套AI大模型报告合集⑥大模型入门实战训练如果说你是以下人群中的其中一类都可以来智泊AI学习人工智能找到高薪工作一次小小的“投资”换来的是终身受益应届毕业生‌无工作经验但想要系统学习AI大模型技术期待通过实战项目掌握核心技术。零基础转型‌非技术背景但关注AI应用场景计划通过低代码工具实现“AI行业”跨界‌。业务赋能 ‌突破瓶颈传统开发者Java/前端等学习Transformer架构与LangChain框架向AI全栈工程师转型‌。获取方式有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】