做网站要考虑哪些因素,美人主意的暴利行业,公司和个人均不能备案论坛类网站,万网上传网站本文深入浅出地介绍了检索增强生成#xff08;RAG#xff09;技术#xff0c;针对大模型在知识更新、长尾知识覆盖、隐私保护和成本控制等方面的痛点#xff0c;提出了通过检索外部数据源来辅助生成答案的解决方案。文章详细阐述了 RAG 的基本架构、检索与生成器的组合方式…本文深入浅出地介绍了检索增强生成RAG技术针对大模型在知识更新、长尾知识覆盖、隐私保护和成本控制等方面的痛点提出了通过检索外部数据源来辅助生成答案的解决方案。文章详细阐述了 RAG 的基本架构、检索与生成器的组合方式、四大基础范式和五类增强技巧并通过三个实战案例展示了 RAG 在文本问答、代码补全和图像生成中的应用。此外还探讨了 RAG 的评估方法、当前局限和未来发展方向为读者提供了全面而实用的 RAG 实战指南。一、AIGC 的强大与痛点为什么需要 RAGAIGCAI-Generated Content泛指由生成式模型产出的内容涵盖文本GPT、LLaMA、图像DALL-E、Stable Diffusion、视频Sora等多种模态。这些模型依赖海量参数存储知识——可以理解为把整个图书馆压缩进了神经网络的权重里。但参数记忆有四个天然短板•知识过时模型训练后世界还在变化新知识无法自动写入。•长尾盲区冷门实体、小众 API、罕见病例等低频知识覆盖不足。•隐私风险训练数据中的敏感信息可能被模型记住并泄露。•成本高昂为了覆盖更多知识而不断扩大模型参数训练和推理开销剧增。RAG 的解法很直觉给模型配一个外挂的非参数记忆non-parametric memory。你可以把它想象成考试时允许翻阅的参考资料——模型不需要把所有知识都背进参数里只需要在回答时知道去哪里查、怎么查。这个外挂记忆就是一个可检索的数据仓库——可以是文档库、知识图谱、代码仓库甚至是图片集。它易于更新改文档比重新训练模型便宜得多、能容纳海量长尾知识、可以通过权限控制隔离敏感数据还能通过用检索代替生成来降低推理成本。简而言之RAG 让模型从闭卷考试变成了开卷考试。二、RAG 是什么一条最小可行流水线RAG 的通用架构——检索器从数据源中获取相关信息与生成器交互以改善生成过程一个最基本的 RAG 流程可以拆成五步输入查询Query用户提出问题或给出生成指令。检索 Top-kRetrieve检索器在数据源中找到最相关的 k 条结果。增强Augment将检索结果与原始查询融合形成增强后的输入。生成Generate生成器基于增强输入产出最终结果。可选后处理Post-process对输出进行改写、重排或验证。其中检索器是关键。综述将检索方法分为三类•稀疏检索Sparse Retrieval基于词频统计如 BM25、TF-IDF。用倒排索引实现高效查找是大规模网页搜索的经典基线。优点是无需训练、可解释性强缺点是无法捕捉语义相似性。•稠密检索Dense Retrieval用预训练模型如 BERT将查询和文档编码为稠密向量通过余弦相似度等度量计算相关性。需要构建近似最近邻ANN索引如 HNSW、DiskANN来加速搜索。语义理解能力强但需要训练数据和 GPU 资源。•其他方法包括编辑距离、抽象语法树AST匹配、知识图谱的 k-hop 邻居搜索、命名实体识别NER等。Tip对于大多数文本 RAG 场景BM25 Dense Retrieval 的混合检索Hybrid Retrieval是一个稳健的起点。稀疏检索擅长精确关键词匹配稠密检索擅长语义泛化二者互补。三、生成器与检索器你在系统里能换哪些发动机主流生成器的通用架构: Latent Diffusion Model主流生成器的通用架构: Transformer主流生成器的通用架构: LSTM and GANRAG 是一个检索器 生成器的组合系统两个模块都可以独立替换。生成器侧•Transformer当前主流GPT、LLaMA、BART 等均属此类擅长序列到序列任务。•LSTM早期序列模型在部分代码生成和摘要任务中仍有使用。•扩散模型Diffusion Model图像和音频生成的主力如 Stable Diffusion。•GAN生成对抗网络在图像生成中曾是主流现逐渐被扩散模型取代。检索器侧• 稀疏检索器适合对精确匹配要求高的场景如法律条文检索。• 稠密检索器适合语义理解需求强的场景如开放域问答。• 混合检索器结合两者优势适合大多数生产环境。关键洞察检索器和生成器的目标可能不一致——检索器追求相关性生成器追求流畅性和准确性。如何设计二者的交互方式是 RAG 系统设计的核心问题。综述正是围绕这个核心问题提出了基础范式和增强方法两大分类体系。四、RAG Foundations四大接入点RAG 基础范式的分类——按检索结果增强生成器的方式分为四类综述将 RAG 的基础范式按检索结果在哪个阶段、以什么方式接入生成器分为四类1. Query-Based RAG查询增强直觉把检索到的内容直接拼接到 prompt 里让模型看着资料回答。典型场景你问 LLM 一个知识密集型问题系统先检索相关文档片段拼进 prompt再让模型生成答案。REALM、RAGLewis et al.、SELF-RAG 都属于此类。在代码领域APICoder、CEDAR 等将检索到的 API 文档和代码示例拼入 prompt。风险/陷阱检索内容过多会撑爆上下文窗口导致生成变慢甚至信息丢失检索质量差时噪声会误导模型。Prompt 设计至关重要。2. Latent Representation-Based RAG隐状态融合直觉不在文本层面拼接而是在模型内部的隐藏层通过交叉注意力cross-attention等机制融合检索信息。典型场景RETRO 在 Transformer 的中间层用 chunked cross-attention 融合检索到的文本块在视频字幕生成中R-ConvED 用注意力机制融合检索到的视频-句子对的隐状态。风险/陷阱需要额外训练来对齐检索器和生成器的隐空间通用性受限但能实现更精细的信息融合。3. Logit-Based RAG概率层融合直觉在解码的每一步将生成模型的输出概率与检索得到的概率分布进行加权融合。典型场景kNN-LM 在每个解码步骤将语言模型概率与检索到的相似前缀的距离概率混合EDITSUM 在代码摘要任务中在 logit 层集成原型摘要。风险/陷阱主要适用于序列生成任务融合权重的调节需要精细设计否则检索信号可能淹没或被忽略。4. Speculative RAG投机式检索直觉能检索到现成答案就不生成——用检索替代生成节省计算资源。典型场景REST 用检索替代投机解码中的小模型来生成草稿GPTCache 构建语义缓存对相似查询直接返回缓存结果避免重复调用 LLM APICOG 将文本生成分解为一系列从文档中复制粘贴的操作。风险/陷阱目前主要适用于序列数据当检索源覆盖不足时会退化为普通生成。五、RAG Enhancements把系统做更稳更强的五类技巧RAG 增强方法的分类——按增强目标分为输入、检索器、生成器、结果和流水线五组基础范式解决了怎么接入的问题增强方法则解决怎么做得更好。综述将增强技巧分为五组1. 输入增强Input Enhancement在查询进入检索器之前优化输入质量•查询改写/扩展用 LLM 重写模糊查询如 HyDE 生成假设文档来辅助检索或将复杂查询拆解为子查询RQ-RAG。•数据增强清洗、去重、更新检索源中的过时文档合成新数据弥补稀疏性如 Make-An-Audio 为无文本音频生成描述。2. 检索器增强Retriever Enhancement提升检索结果的质量和多样性•递归检索多轮搜索获取更丰富的内容ReACT 用 Chain-of-Thought 分解查询进行递归检索。•分块策略Chunking合理切分文档平衡粒度与完整性RAPTOR 用递归抽象处理构建树状索引。•重排序Rerank用 reranker 模型对初检结果重新排序提升相关性Re2G、UDAPDR。•混合检索结合稀疏和稠密检索的优势ReACC 同时使用两种检索器。•检索器微调用对比学习、硬负例等技术微调检索模型。3. 生成器增强Generator Enhancement让生成器更好地利用检索信息•Prompt 工程精心设计 prompt 模板组织检索内容的呈现方式CEDAR 用设计好的模板组织代码示例、查询和指令。•解码调优调节温度等超参数平衡多样性和质量InferFix约束输出词表消除实现错误Synchromesh。•生成器微调固定检索器参数微调生成器以更好地融合检索内容RETRO、APICoder或用 LoRA 等轻量方法适配特定领域。4. 结果增强Result Enhancement对生成结果进行后处理•输出改写用专门模型修正生成结果以符合下游需求SARGAM 用分类器精修代码补丁。•候选重排对多个生成候选进行排序选优。5. 流水线增强Pipeline Enhancement从系统整体层面优化•自适应检索根据查询复杂度动态决定是否需要检索SELF-RAG 用批评模块判断AdaptiveRAG 用分类器按查询复杂度决策。•迭代式 RAG多轮检索-生成循环逐步精炼结果RepoCoder 用迭代检索-生成完成代码补全ITER-RETGEN 用生成输出定位知识缺口再检索。工程 Checklist搭建 RAG 系统时按以下顺序逐步优化——✅ 先跑通基线BM25 Query-Based RAG✅ 加入稠密检索尝试混合检索✅ 优化分块策略和 prompt 模板✅ 引入 reranker 提升检索精度✅ 根据场景选择自适应/迭代式流水线✅ 必要时微调检索器或生成器六、Applications Map不仅是问答跨模态 RAGRAG 在不同模态和任务中的应用分类图RAG 绝不只是文本问答的专利。综述梳理了 RAG 在以下领域的应用•文本问答FiD、REALM、对话BlenderBot3、摘要、机器翻译kNN-MT、事件抽取、事实验证。•代码代码生成REDCODER、APICoder、RepoCoder、代码摘要Re2Com、Bashexplainer、代码补全CoCoMIC、程序修复RAP-Gen、InferFix、Text-to-SQLSynchromesh、CodeS。•知识图谱知识库问答TOG、GNN-RAG、知识增强的开放域问答UniK-QA、表格问答。•图像图像生成KNN-Diffusion、Re-imagen、图像字幕SMALLCAP、REVEAL、视觉问答PICa。•视频视频字幕R-ConvED、EgoInstructor、视频问答、视频生成Animate-A-Story。•音频音频生成Re-AudioLDM、Make-An-Audio、音频字幕RECAP。•3D文本到 3D 运动生成ReMoDiffuse、3D 资产生成RetDream。•科学生物医学文献生成BioReader、药物设计、数学定理证明LeanDojo。核心洞察跨模态 RAG 的核心流程是一致的——检索相关对象、增强生成过程。变化的是检索器的模态文本用 BM25/DPR图像用 CLIP音频用 CLAP代码用 CodeBERT和增强方式的选择文本多用 Query-Based图像多用 Latent Representation-Based。这意味着你在文本 RAG 上积累的经验可以迁移到其他模态——核心设计模式是通用的。七、3 个实战案例Case A文本校园/实验室知识库问答助手问题实验室积累了大量内部文档论文笔记、实验记录、设备手册但内容更新频繁直接用 LLM 回答常出现过时信息且无法给出引用来源。数据源Markdown/PDF 格式的实验室内部文档库按周更新。检索器选择混合检索BM25 Dense Retrieval。BM25 处理精确术语匹配如设备型号Dense Retrieval基于 BGE 等中文嵌入模型处理语义相似查询。用 HNSW 构建 ANN 索引。增强策略Query-Based RAG基础范式 输入增强查询改写 检索器增强rerank。Prompt 模板你是实验室知识助手。请根据以下检索到的参考资料回答用户问题。如果参考资料不足以回答请明确说明当前知识库未覆盖此问题。请在回答末尾标注引用来源。【参考资料】{retrieved_chunk_1}来源{source_1}{retrieved_chunk_2}来源{source_2}{retrieved_chunk_3}来源{source_3}【用户问题】{user_query}失败模式与缓解• 文档更新后索引未同步 → 建立定时索引刷新机制文档变更触发增量索引更新。• 检索到的片段与问题相关但信息不足 → 引入递归检索对初次结果中的关键实体进行二次检索。• 模型忽略检索内容仍凭参数记忆回答 → 在 prompt 中强调仅基于参考资料回答并用 SELF-RAG 式的自我批评机制判断是否需要检索。评估计划• 准确率人工标注 200 条问答对计算答案正确率。• 引用准确率检查生成的引用是否指向正确的源文档。• 检索召回率标注相关文档计算 Top-5 召回率。• 用户满意度实验室成员试用两周后收集反馈。Case B代码API/代码补全助手问题开发团队使用内部框架公开 LLM 对私有 API 一无所知经常生成不存在的函数名和错误的参数签名。数据源内部 API 文档、函数签名、代码示例、README 文件。检索器选择稠密检索为主用 CodeBERT 编码代码和文档辅以稀疏检索BM25 匹配函数名和关键词。参考综述中 ReACC 同时使用两种检索器的做法。增强策略Query-Based RAG 迭代式 RAG参考 RepoCoder 的迭代检索-生成方法。第一轮用当前代码上下文检索相关 API第二轮用初步生成的代码片段作为新查询检索更精确的示例。Prompt 模板你是代码补全助手。请根据以下 API 文档和代码示例补全用户的代码。只使用文档中存在的 API不要编造不存在的函数或参数。【相关 API 文档】{api_doc_chunk_1}【代码示例】{code_example_1}【当前代码上下文】{current_code_context}【待补全位置】{cursor_position}失败模式与缓解• 检索到的 API 版本过旧 → 数据源按版本号管理检索时过滤当前项目依赖的版本。• 函数名匹配正确但参数签名错误 → 检索粒度细化到函数签名级别而非整个文档页面。• 生成的代码语法正确但逻辑错误 → 引入 Synchromesh 式的约束解码限制输出词表结合 De-Hallucinator 的迭代验证机制。评估计划• 补全准确率在内部代码测试集上计算 exact match 和 BLEU。• API 幻觉率统计生成代码中不存在的 API 调用占比。• 编译通过率生成代码能否通过编译/类型检查。• 开发者效率A/B 测试对比有无 RAG 辅助时的编码速度。Case C多模态/AIGC图像生成的参考检索——风格与构图对齐问题设计师希望用文本生成特定风格的图像如莫奈风格的校园秋景但纯文本 prompt 难以精确控制风格和构图生成结果与预期偏差大。数据源风格标注的参考图像库含风格标签、构图描述、CLIP 嵌入。检索器选择基于 CLIP 的稠密检索。用户输入文本 prompt 后CLIP 文本编码器将其映射到共享嵌入空间检索视觉上最相关的参考图像。参考综述中 KNN-Diffusion 和 RDM 的做法——训练扩散模型时以 CLIP 嵌入和图像邻居为条件。增强策略Latent Representation-Based RAG。参考 RetrieveFuse 的方法将检索到的参考图像与噪声图像在 U-Net 的注意力模块前拼接通过自注意力实现充分交互避免 CLIP 嵌入的信息损失。同时结合 Re-imagen 的交错引导interleaved guidance平衡 prompt 对齐和检索条件。Prompt 模板文本侧请生成一张图像。【风格参考】检索到的参考图像 ID{ref_image_ids}风格描述{style_description}构图特征{composition_features}【用户描述】{user_text_prompt}生成要求保持与参考图像一致的色调和笔触风格构图参考检索结果内容以用户描述为准。失败模式与缓解• 检索到的参考图风格相近但内容干扰生成 → 用 RPG 的方式将画面分解为互补子区域分别控制风格和内容。• CLIP 嵌入丢失细粒度风格信息 → 参考 RetrieveFuse直接拼接原始图像特征而非仅用 CLIP 向量。• 参考图库覆盖不足导致检索结果不相关 → 设置相似度阈值低于阈值时退化为无检索的纯文本生成。评估计划• 风格一致性用 CLIP 计算生成图像与参考图像的风格相似度。• Prompt 对齐度用 CLIP 计算生成图像与文本 prompt 的匹配分数。• 人工评估邀请设计师对生成结果的风格还原度和美学质量打分。• FID 分数在特定风格子集上计算 FID衡量生成质量。八、评估、局限与未来方向评估基准综述梳理了多个 RAG 评估框架•RAGAS、ARES、TruLens从三个维度评估——忠实度Faithfulness生成内容是否基于检索结果、答案相关性Answer Relevance、上下文相关性Context Relevance。•Chen et al. 的基准测试四个能力——噪声鲁棒性、负拒绝检索不足时能否拒绝回答、信息整合、反事实鲁棒性。•CRUD-RAG将 RAG 任务分为创建、读取、更新、删除四类分别用文本续写、问答、幻觉纠正、多文档摘要来评估。•领域专用基准MIRAGE医学、CRAG跨领域多类别、Legalbench-RAG法律、Omnieval金融、Multihop-RAG多跳推理等。当前局限综述指出 RAG 面临五大局限检索噪声检索结果不可避免地包含噪声。有趣的是研究发现噪声检索结果有时反而能提升生成质量可能因为多样化的检索结果有助于 prompt 构建。但噪声的影响仍不明确。额外开销检索和交互过程增加延迟尤其在递归检索和迭代 RAG 中更为显著。检索源规模扩大也会增加存储和访问复杂度。检索器与生成器的鸿沟两者目标和隐空间可能不一致如何设计高效的交互方式仍是挑战。系统复杂度增加引入检索不可避免地增加超参数如 top-k 值、分块大小、融合权重需要更多专业知识来调优。上下文过长Query-Based RAG 会大幅增加上下文长度对上下文窗口有限的模型不友好也会拖慢生成速度。未来方向综述展望了七个方向•新型增强方法探索更先进的检索器-生成器交互模式。•灵活流水线递归、自适应、迭代式 RAG 的深入发展。•更广泛的应用为特定领域设计定制化 RAG 方案。•高效部署系统级优化以降低延迟PipeRAG、HedraRAG 等。•长尾与实时知识构建持续更新的知识源适配个性化信息。•与其他技术结合RAG 微调 强化学习 Chain-of-Thought Agent 的协同。•Agentic RAG将 AI Agent 引入 RAG实现推理-规划-行动-迭代的动态循环从被动响应走向主动解决问题。综述特别指出长上下文模型将取代 RAG的说法忽视了 RAG 在管理动态信息包括实时和长尾知识方面的灵活性。RAG 将受益于长上下文生成技术而非被其取代。结语RAG 的本质是一个简洁而强大的思想让生成模型在回答之前先查资料。它不需要重新训练模型就能注入新知识、减少幻觉、保护隐私、降低成本。从文本问答到代码补全从图像生成到科学研究RAG 正在成为 AIGC 系统的标准组件。如果你正在搭建自己的 AI 应用不妨从一个最简单的 BM25 LLM 的 Query-Based RAG 开始然后根据本文的分类框架逐步优化。记住好的 RAG 系统不是一次设计出来的而是迭代出来的。先让它跑起来再让它跑得好。最后对于正在迷茫择业、想转行提升或是刚入门的程序员、编程小白来说有一个问题几乎人人都在问未来10年什么领域的职业发展潜力最大答案只有一个人工智能尤其是大模型方向当下人工智能行业正处于爆发式增长期其中大模型相关岗位更是供不应求薪资待遇直接拉满——字节跳动作为AI领域的头部玩家给硕士毕业的优质AI人才含大模型相关方向开出的月基础工资高达5万—6万元即便是非“人才计划”的普通应聘者月基础工资也能稳定在4万元左右。再看阿里、腾讯两大互联网大厂非“人才计划”的AI相关岗位应聘者月基础工资也约有3万元远超其他行业同资历岗位的薪资水平对于程序员、小白来说无疑是绝佳的转型和提升赛道。对于想入局大模型、抢占未来10年行业红利的程序员和小白来说现在正是最好的学习时机行业缺口大、大厂需求旺、薪资天花板高只要找准学习方向稳步提升技能就能轻松摆脱“低薪困境”抓住AI时代的职业机遇。如果你还不知道从何开始我自己整理一套全网最全最细的大模型零基础教程我也是一路自学走过来的很清楚小白前期学习的痛楚你要是没有方向还没有好的资源根本学不到东西下面是我整理的大模型学习资源希望能帮到你。扫码免费领取全部内容最后1、大模型学习路线2、从0到进阶大模型学习视频教程从入门到进阶这里都有跟着老师学习事半功倍。3、 入门必看大模型学习书籍文档.pdf书面上的技术书籍确实太多了这些是我精选出来的还有很多不在图里4、AI大模型最新行业报告2026最新行业报告针对不同行业的现状、趋势、问题、机会等进行系统地调研和评估以了解哪些行业更适合引入大模型的技术和应用以及在哪些方面可以发挥大模型的优势。5、面试试题/经验【大厂 AI 岗位面经分享107 道】【AI 大模型面试真题102 道】【LLMs 面试真题97 道】6、大模型项目实战配套源码适用人群四阶段学习规划共90天可落地执行第一阶段10天初阶应用该阶段让大家对大模型 AI有一个最前沿的认识对大模型 AI 的理解超过 95% 的人可以在相关讨论时发表高级、不跟风、又接地气的见解别人只会和 AI 聊天而你能调教 AI并能用代码将大模型和业务衔接。大模型 AI 能干什么大模型是怎样获得「智能」的用好 AI 的核心心法大模型应用业务架构大模型应用技术架构代码示例向 GPT-3.5 灌入新知识提示工程的意义和核心思想Prompt 典型构成指令调优方法论思维链和思维树Prompt 攻击和防范…第二阶段30天高阶应用该阶段我们正式进入大模型 AI 进阶实战学习学会构造私有知识库扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架抓住最新的技术进展适合 Python 和 JavaScript 程序员。为什么要做 RAG搭建一个简单的 ChatPDF检索的基础概念什么是向量表示Embeddings向量数据库与向量检索基于向量检索的 RAG搭建 RAG 系统的扩展知识混合检索与 RAG-Fusion 简介向量模型本地部署…第三阶段30天模型训练恭喜你如果学到这里你基本可以找到一份大模型 AI相关的工作自己也能训练 GPT 了通过微调训练自己的垂直大模型能独立训练开源多模态大模型掌握更多技术方案。到此为止大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗为什么要做 RAG什么是模型什么是模型训练求解器 损失函数简介小实验2手写一个简单的神经网络并训练它什么是训练/预训练/微调/轻量化微调Transformer结构简介轻量化微调实验数据集的构建…第四阶段20天商业闭环对全球大模型从性能、吞吐量、成本等方面有一定的认知可以在云端和本地等多种环境下部署大模型找到适合自己的项目/创业方向做一名被 AI 武装的产品经理。硬件选型带你了解全球大模型使用国产大模型服务搭建 OpenAI 代理热身基于阿里云 PAI 部署 Stable Diffusion在本地计算机运行大模型大模型的私有化部署基于 vLLM 部署大模型案例如何优雅地在阿里云私有部署开源大模型部署一套开源 LLM 项目内容安全互联网信息服务算法备案…扫码免费领取全部内容3、这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】