搜索品牌价值的网站,app定制开发软件商城分身,吉林省住房和城乡建设厅网站,网页游戏开服表百科文章介绍了RAG#xff08;检索增强生成#xff09;技术的概念与工作流程#xff0c;详细描述了作为AI小白如何使用RAGFlow平台构建基于可靠数据源的聊天机器人。从数据预处理、嵌入、相似度检测到LLM输出的完整流程#xff0c;展示了如何利用低代码平台快速搭建RAG应用&…文章介绍了RAG检索增强生成技术的概念与工作流程详细描述了作为AI小白如何使用RAGFlow平台构建基于可靠数据源的聊天机器人。从数据预处理、嵌入、相似度检测到LLM输出的完整流程展示了如何利用低代码平台快速搭建RAG应用解决大模型使用私有数据的问题为初学者提供了实用的入门指南。AI日记系列 第1篇 一些说明最近在学习 AI 相关的知识「AI 日记」这个系列会记录我的一些输出与心得正如我往常的输出内容一致这并不是一份 stepbystep 的 Roadmap而是单纯的个人记录、并且考虑到读者我会尽可能地解释清楚并争取让大家也能得到一些有效输入我是一个刚学习没多久的 AI 小白文章中肯定有局限甚至错误之处仅仅用来参考和一起交流这篇文章的排版是使用我上周用 AI 做出的「公众号自动排版工具」生成如果有不尽流畅的阅读体验还请包容 背景梳理 需求目前我有一些关于许多高等院校的信息这些信息有非常多的方面和字数而且经过了专人的检验是相对网络数据更可靠的信息源于是我希望做一个聊天机器人用户能够去询问这个聊天机器人关于高校的一些问题而机器人会根据上述提到的可靠信息源来生成回复给到用户。很显然如果我直接调用诸如 deepseek 的模型的话它更多的参考依据是网络的数据而我更希望向用户呈现的是经过我们的检验的可靠数据但是我又不可能在每一次用户提问时都把我的数据作为 Prompt提示词同用户的输入一起提交给模型因为我的数据有成千上万条字数多达百万级别模型不可能在用户可接受的时间内一次处理这么多数据这既不高效也不经济。这时我们就需要一些手段来实现此类需求。 RAG检索增强生成RAG检索增强生成Retrieval-Augmented Generation是一种通过在生成响应之前从外部权威知识库中检索相关信息来优化大语言模型LLM输出的AI技术。它让 AI “查资料再作答”有效解决了大模型训练数据过期、生成内容不准确幻觉及缺乏领域私有知识的问题。RAG 的核心要素与工作流程是检索 (Retrieval)系统将用户的查询与外部知识库如企业文档、数据库、即时网络信息进行比对找出最相关的内容。增强 (Augmentation)将检索到的知识与用户的提示词Prompt整合形成上下文。生成 (Generation)LLM 利用这些增强后的知识生成专业、准确、最新的回答下面我来简单地画一张示意图来体现 RAG 中的一些核心流程这张图中省略了非常多的技术细节但是最核心的流程无非就以下几步Embedding嵌入由于我们的数据源的数据量非常大不可能等到用户实际发生提问时再来处理所以我们必须要对其进行预处理Embedding 就是一种将高维、离散的数据如文本、图像、商品ID映射为低维、连续的稠密向量的技术嵌入模型可以将我们数据源中一段段文本可能是关于某个高校的师资力量的信息映射处理为一个高维向量在接下来我的实例中是 1024 维注意我这里虽然说它是一个「高维」向量但是它已经比原始文本数据的维度低多了所以并不和定义中的「低维」冲突当这些可靠的数据源被处理成了一个个高维的向量由文字转化为了数字那么后续的匹配对比操作就是计算机更擅长的事了相似度检测当用户输入一个问题以后这串输入首先会同样被 Embedding没错这个处理的模型应该和处理数据源的Embedding模型是同个模型如果不是一个模型的话它们最后就没法在同个嵌入的向量空间去做相似度检测那就没意义了成一个同维度的向量然后根据一些相似度检测算法去进行检测可以简单理解为就像是在一个平面直角坐标系中我们去找到距离更近的两个点一样只不过现在的维度不是2维而是1024维接着通过一些参数的配置我们可以返回那些和用户输入最接近的一些数据源片段比如返回十个Rerank重排其实到这里数据复杂度已经大大下降了但是如果还想做到更极致一些的话就可以用到重排在通过相似度检测初步召回了一些相关性高的十个数据源片段后我们可以利用精细的模型对候选片段同用户提问的语义相关性进行深度分析和重新排序这里的算法和 Embedding 并不一样而且会更加地耗时比如我们通过 Rerank 完成了这十个数据源片段更加精细的相似度排名并且只取前五个返回LLM输出大语言模型输出接下来就来到了「最后一公里」那就是我们拿着用户输入和经过 Rerank 的五个数据源片段一股脑全部扔给 LLM让大语言模型再去帮助我们分析问题、理解资料、回答用户的问题。不难发现我们通过一系列操作使得大模型不必临场时再去开卷翻一遍并且现场理解所有的资料来回答用户而是我们预先对于数据做了各种处理使得最后大模型只需要处理少部分数据就可以得到精确的回答。️ 使用 RAGFlow 进行搭建虽然自己动手写更多代码肯定能学到更多东西但是我想要在速度上也有较快的正反馈所以我使用了 RAGFlow它有点像是开发的低代码平台我觉得当你真的对于一些原子背后的结构和底层有一定了解之后单纯去写各种调用或者设置参数的繁琐代码感觉性价比并不会更高。RAGFlowhttps://github.com/infiniflow/ragflowRAGFlow 是一款领先的开源检索增强生成 ( RAG ) 引擎它将前沿的 RAG 技术与代理功能融合为生命周期管理 (LLM) 创建卓越的上下文层。跑 RAGFlow 需要在 docker 上运行如果有部署需求可以直接在公司的服务器或者开发机运行或者在本地搞好 MVP 后再把对应的配置文件同步过去。跑 docker 的时候内存最好分配大一些我分配了16GB最开始我只分配了8GB导致 Elasticsearch 一直因为内存不足而不断重启。成功跑起来以后就可以在打开本机 IP 后进入图形化配置界面了首先我们把必须的一些模型给配置好冲着方便和便宜我就选了 deepseek 和通义千问的模型。 处理数据集然后我们就可以去处理我们的数据集了我们可以上传我们的源数据我这里是一个 xlsx 文件在配置页面可以去选择和试错一些参数然后点击运行解析就完成了整个过程非常傻瓜式然后我们可以在测试页面去进行「检索测试」比如输入一个问题然后看看右侧召回的片段分别有哪些并且在召回片段上侧还会返回混合相似度供参考你可以根据这些来判断 Embedding 结果是否尽如人意。当然我们还可以稍微精细化一点即自己创建一个 workflow 工作流来进行数据集处理其实和上面的简化形式差不太多其实这一条 workflow 就像是 RAG 系统中的“后厨”逻辑对我们的数据集进行各种拆解方便后续的大快朵颐Parser解析器如果你使用不同的文件比如 PDF、Word、Excel 等不同形式的文件可能会有不同的效果更好的处理方式解析器的任务是把我的数据源文件里的文字提取出来并且最好适配原始的格式你可以使用 RAGFlow 自带的 Parser或者自己使用一些 Parser 模型比如在这个流中我选择了 Spreadsheet电子表格类型并使用了 qwen2-vl-plus多模态大模型作为解析方法Chunker分块器这里很好理解就是先将我们的数据源进行分块处理不然后续的片段查找就没意义了。现在的分块算法应该有挺多的但是我不是特别了解这块我在这里选择了 作为分隔符因为我的表格会在Parse 过程中被转化成一个 HTML Table 对象Extractor提取器这个流程非必须但是却可以帮助我们提高分片数据和整个 RAG 流程的质量比如提取器可能会利用大模型把这段话重写或提取 Metadata 关键标签相当于将一些原始的分片数据转化成了带有标签和摘要的精品分块这样可以极大增加搜索时的命中率因为模型不仅能搜到字面意思还能理解这一块内容到底在讲什么。这里我使用 deepseek-chat模型对每个小块进行深加工Embedding嵌入分词器通过 Embedding 模型我们最终可以将分片数据转化成一串长长的数字列表也就是前文说的高维向量同时现在的嵌入模型还会做 Full-text全文索引通过建立关键词索引可以使得后续查询的时候不仅仅根据语义的相似度进行检索还可以基于一些全文匹配的方式来辅助检索 生成聊天机器人接下来的事情更加简单我们直接建立一个 Chat 项目在这个页面去配置一些系统提示词、选择已经处理好后的数据集、增加一些兜底措施、试图微调参数等。然后我们就可以拿着调试好的成果去应用到我们自己的前端页面啦~只要复制好系统给的代码样例然后就能来到我们文章开头的那一幕完成那么一个非常粗糙的基于我们自己数据集的聊天机器人就完成啦依托于各种低代码配置我只花了一天半的时间就完成了并且还对整个 RAG 有了一些开天辟地的认知。当然越是操作简单无代码就说明可配置性越不够灵活嘛其实我们还可以用其中的 agent Flow 模式来写我们的前端聊天逻辑下图就非常清晰了对于我们可靠数据源中能查到的信息我们直接返回并且告诉用户这是可靠信息否则就使用网络搜索作为兜底并且提醒用户注意核实网络信息。而这一点在上面那个更傻瓜式的配置界面不是特别好实现只能在 Prompt 中做一些 hack 提示但这里就会比较灵活如果需要更加灵活的方式那应该就需要涉及到写更多的代码了比如就用 LangChain 来自己去写各种模块的内在逻辑和流程这个就看业务的需求和复杂度了~ ✍️ 写在最后现在让我再来基于上面我所做的事情梳理一个更清晰的流程图得益于各种开源工具和生态让我这个2026年才开始接触和学习 AI 的人也能上手做一些东西而且学习一样事物的最快方法确实就是实践先去网上看几十个小时的视频再来动手绝对会耗费大量的热情而且现在各种 chat 模型已经可以充当非常好的指路人了。 ​最后我在一线科技企业深耕十二载见证过太多因技术更迭而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我整理出这套 AI 大模型突围资料包✅AI大模型学习路线图✅Agent行业报告✅100集大模型视频教程✅大模型书籍PDF✅DeepSeek教程✅AI产品经理入门资料完整的大模型学习和面试资料已经上传带到CSDN的官方了有需要的朋友可以扫描下方二维码免费领取【保证100%免费】​​为什么说现在普通人就业/升职加薪的首选是AI大模型人工智能技术的爆发式增长正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议到全国两会关于AI产业发展的政策聚焦再到招聘会上排起的长队AI的热度已从技术领域渗透到就业市场的每一个角落。智联招聘的最新数据给出了最直观的印证2025年2月AI领域求职人数同比增幅突破200%远超其他行业平均水平整个人工智能行业的求职增速达到33.4%位居各行业榜首其中人工智能工程师岗位的求职热度更是飙升69.6%。AI产业的快速扩张也让人才供需矛盾愈发突出。麦肯锡报告明确预测到2030年中国AI专业人才需求将达600万人人才缺口可能高达400万人这一缺口不仅存在于核心技术领域更蔓延至产业应用的各个环节。​​资料包有什么①从入门到精通的全套视频教程⑤⑥包含提示词工程、RAG、Agent等技术点② AI大模型学习路线图还有视频解说全过程AI大模型学习路线③学习电子书籍和技术文档市面上的大模型书籍确实太多了这些是我精选出来的④各大厂大模型面试题目详解⑤ 这些资料真的有用吗?这份资料由我和鲁为民博士共同整理鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。所有的视频教程由智泊AI老师录制且资料与智泊AI共享相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌构建起前沿课程智能实训精准就业的高效培养体系。课堂上不光教理论还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作把课本知识变成真本事‌​​​​如果说你是以下人群中的其中一类都可以来智泊AI学习人工智能找到高薪工作一次小小的“投资”换来的是终身受益应届毕业生‌无工作经验但想要系统学习AI大模型技术期待通过实战项目掌握核心技术。零基础转型‌非技术背景但关注AI应用场景计划通过低代码工具实现“AI行业”跨界‌。业务赋能 ‌突破瓶颈传统开发者Java/前端等学习Transformer架构与LangChain框架向AI全栈工程师转型‌。获取方式有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】**​