在线分析网站,wordpress查看用户,oa系统软件,诸暨企业网站建设前言 Dify是一款开源的大语言模型应用开发平台#xff0c;旨在降低AI应用的开发门槛#xff0c;帮助开发者和企业快速构建、部署及管理生成式AI应用。 Dify的知识库功能将RAG管线上的各环节可视化#xff0c;提供了一套简单易用的用户界面来方便应用构建者管理个人或者团队…前言Dify是一款开源的大语言模型应用开发平台旨在降低AI应用的开发门槛帮助开发者和企业快速构建、部署及管理生成式AI应用。Dify的知识库功能将RAG管线上的各环节可视化提供了一套简单易用的用户界面来方便应用构建者管理个人或者团队的知识库并能够快速集成至 AI 应用中。为了达到最好的RAG检索效果需要选择正确的分段设置。本文介绍如下内容RAG介绍提升Dify RAG效果的关键父子模式通过Jina Reader抓取网页信息基于Dify构建客服智能体本文构建的客服智能体效果如下RAG介绍RAG是什么RAG全称Retrieval-Augmented Generation直译为“检索增强生成”。简单来说RAG 知识检索系统 大语言模型LLM。在问答过程中RAG会• 根据用户问题从知识库(向量数据库)检索相关信息• 把这些真实、可靠的资料作为上下文“喂”给大模型• 由大模型根据这些检索到的资料进行加工、归纳、回答为什么RAG重要减少幻觉• 大模型有时会“胡编乱造”尤其当问题超出它训练范围时。• 通过RAG大模型可以参考实时的、真实的资料避免凭空想象。解决时效问题• 训练一次大模型耗资巨大且更新频率有限。• RAG可以检索最新的数据或文档让旧模型回答新问题。支持私有知识库企业可以用自己专属的数据产品手册、内部wiki、合同、报告等做RAG而无需重新训练大模型。提升回答的可解释性RAG可以告诉用户“答案来自哪篇文档”增强透明度和可信度。RAG的技术组成向量化Embedding把文档拆分成“知识块”用向量模型编码成向量并存储到向量数据库如Weaviate、Milvus等中。相似度检索根据用户问题计算问题与文档块的相似度从向量数据库找出相关内容。上下文构建将检索到的内容拼接作为“上下文”发送给大模型处理。大模型生成LLM根据上述“补充背景”给出更准确、更专业、更可信的答案。提升Dify RAG效果的关键父子模式提升RAG效果的关键是检索出合适的上下文内容。在Dify导入数据到知识库系统的流程中有两种文本分段方式“通用模式”和“父子模式”通用模式系统依据用户的自定义规则将内容拆分为独立的分段。当用户输入问题后系统自动提取问题的关键词并计算关键词与知识库中各分段的相关度。根据相关度排序选取最相关的内容分段并发送给 LLM辅助其回答问题。“通用模式”的分段最大长度设置存在两难• 分段长度过小文本因为分段的原因容易造成上下文丢失。• 分段长度过长较长的文本分段势必会影响embedding的检索精度。而且受embedding模型的限制每个分段的最大长度有限制通常小于1万tokens。父子模式父子模式采用双层分段结构来平衡检索的精确度和上下文信息,让精准匹配与全面的上下文信息二者兼得。父区块父区块保持较大的文本单位如段落提供丰富的上下文信息。子区块子区块是较小的文本单位如句子用于精确检索。检索机制通过子区块进行精确检索以确保相关性然后获取对应的父区块来补充上下文信息从而在生成响应时既保证准确性又能提供完整的背景信息。通过Jina Reader抓取网页信息原始HTML充斥着标记和脚本等无关元素Jina Reader API通过从URL中提取核心内容并将其转换为干净的、大模型友好的文本从而确保为您的Agent和RAG系统提供高质量的输入。Jina Reader读取返回的结果是Markdown格式需要了解抓取结果的格式以便设置正确的分段标识符。可以打开https://r.jina.ai/ 页面地址查看Jina的输出格式。例如Dify的安装部署FAQ页面https://r.jina.ai/https://docs.dify.ai/zh-hans/learn-more/faq/install-faq的输出如下图 分段标识符设置为###(三个#加一个空格)可以正确切分不同的问答内容基于Dify构建客服智能体创建知识库新建知识库• 数据源选择“同步自Web站点• 工具选择“Jina Reader• 页面链接填https://docs.dify.ai/zh-hans/learn-more/faq/install-faq此链接为dify的安装部署FAQ• 取消勾选“爬取子页面”• 点击“运行”• 运行出结果后选择“下一步”• 分段设置选择父子分段模式• 父块设置分段标识符为###(三个#加一个空格)分段最大长度设置为4000• 子块设置分段标识符为\n\n分段最大长度设置为512• 注意必须根据文档内容格式填写正确的分段标识符否则RAG效果会大打折扣• Embedding模型选择doubao模型• 点击“保存并处理”• 修改知识库名称和描述• 名称Dify FAQ• 描述包含Dify的FAQ问答内容创建Agent应用在http://localhost/apps页面点击“创建空白应用”选择“Agent”。填写应用名点击创建进入编排界面。编排界面如下• 设置提示词内容为你是一个Dify客服需调用工具使用知识库的内容回答问题。要求如果知识库里没有答案回复没找到相关答案• 添加知识库把Dify FAQ知识库添加到应用。• 选择模型使用doubao-1.5-pro-32k• 调试和预览在下方输入提问内容向Agent提问Dify相关的问题• 测试通过后点击右上角的“发布”按钮。• 发布后点击“运行”即可打开应用的访问链接。总结通过本文的介绍相信大家对RAG机制有了更清晰的认识并了解了在Dify平台中提升RAG效果的关键方法——父子模式的应用。同时我们还学习了如何借助Jina Reader高效抓取网页信息为知识库构建提供优质数据支持。基于这些能力开发者可以更轻松地在Dify中搭建具备良好检索与生成能力的智能客服等AI应用。学AI大模型的正确顺序千万不要搞错了2026年AI风口已来各行各业的AI渗透肉眼可见超多公司要么转型做AI相关产品要么高薪挖AI技术人才机遇直接摆在眼前有往AI方向发展或者本身有后端编程基础的朋友直接冲AI大模型应用开发转岗超合适就算暂时不打算转岗了解大模型、RAG、Prompt、Agent这些热门概念能上手做简单项目也绝对是求职加分王给大家整理了超全最新的AI大模型应用开发学习清单和资料手把手帮你快速入门学习路线:✅大模型基础认知—大模型核心原理、发展历程、主流模型GPT、文心一言等特点解析✅核心技术模块—RAG检索增强生成、Prompt工程实战、Agent智能体开发逻辑✅开发基础能力—Python进阶、API接口调用、大模型开发框架LangChain等实操✅应用场景开发—智能问答系统、企业知识库、AIGC内容生成工具、行业定制化大模型应用✅项目落地流程—需求拆解、技术选型、模型调优、测试上线、运维迭代✅面试求职冲刺—岗位JD解析、简历AI项目包装、高频面试题汇总、模拟面经以上6大模块看似清晰好上手实则每个部分都有扎实的核心内容需要吃透我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】