python网站开发实例教程,不需要证件做网站,简洁的个人网站,青岛航拍公司大语言模型#xff08;LLM#xff09;正从单轮对话机器人、独立推理工具快速进化为具备自主规划、工具调用能力的智能体系统#xff0c;能够通过多轮交互解决复杂的现实世界任务。从代码助手到自主任务执行智能体#xff0c;多轮次的智能体大模型推理已成为生产系统中的核心…大语言模型LLM正从单轮对话机器人、独立推理工具快速进化为具备自主规划、工具调用能力的智能体系统能够通过多轮交互解决复杂的现实世界任务。从代码助手到自主任务执行智能体多轮次的智能体大模型推理已成为生产系统中的核心负载。但这一应用范式的转变也让大模型推理的性能瓶颈发生了根本性转移传统的计算密集型需求逐渐让位于KV缓存的存储I/O需求在主流的解耦架构中预填充引擎的存储网卡带宽饱和、解码引擎网卡却大量闲置的不对称问题严重制约了系统的整体吞吐量成为智能体大模型推理落地的关键障碍。针对这一行业痛点由北京大学、清华大学与深度求索联合研发的DualPath推理系统通过创新的双路径KV缓存加载架构重新定义了预填充-解码解耦架构下的KV缓存读取方式充分挖掘了解码引擎闲置的存储带宽资源结合全局调度器实现了预填充与解码引擎的负载动态均衡。在真实的智能体工作负载测试中DualPath将离线推理吞吐量提升至原有系统的1.87倍在线服务吞吐量平均提升1.96倍且完全满足服务等级协议SLO的延迟要求为解决智能体大模型推理的存储I/O瓶颈提供了全新的技术方案。智能体大模型推理的性能困局从计算瓶颈到I/O瓶颈大模型推理的核心架构基于解码器-only的Transformer结构注意力层会将注意力键K和值V存储在高带宽内存HBM中形成KV缓存避免相同内容的重复计算这也是大模型能够高效完成多轮交互的关键。为了提升推理效率主流的大模型推理系统均采用了预填充-解码PD解耦架构将预填充阶段与解码阶段分离分别交由专用的预填充引擎PE和解码引擎DE处理。其中预填充阶段处理用户的输入提示属于计算密集型且支持批处理解码阶段则通过自回归方式逐一生成令牌属于内存受限型且对延迟高度敏感。同时为了解决长上下文预填充中的HBM容量瓶颈分层预填充技术被广泛应用该技术利用预填充计算的强局部性让GPU每次仅保存单个层的专用KV缓存大幅提升了有效批处理大小进而提高预填充吞吐量。而对于多轮对话的智能体场景KV缓存会被存储在分布式存储中实现跨轮次的复用这也成为智能体大模型推理的标配设计。但在智能体应用场景下这套成熟的架构却暴露出致命的性能缺陷。与传统的人机交互不同智能体大模型需要与外部环境通过浏览器、Python解释器等工具进行数十甚至数百轮的交互尽管单次工具调用或反馈的令牌长度较短通常仅有数百个令牌但上下文会在轮次间不断累积最终可达百万令牌的规模。这使得智能体工作负载呈现出长上下文、短追加、多轮次的显著特征KV缓存的命中率通常超过95%部分代码任务场景下甚至达到98.7%。在高KV缓存命中率的前提下大模型推理的性能不再由纯计算能力决定而是取决于KV缓存的加载效率智能体大模型推理由此从计算受限转变为严重的I/O受限。更关键的是在现有的PD解耦架构中命中的KV缓存完全由预填充引擎从远程存储中加载这使得所有的存储I/O压力都集中在预填充侧的存储网卡SNIC上导致其带宽持续饱和而解码引擎的存储网卡却处于大量闲置的状态。这种存储网络带宽的利用失衡成为制约整个系统吞吐量的核心瓶颈。单纯为预填充引擎扩容带宽不仅成本高昂在通用集群中也不具备可操作性而现有技术方案均未能从根本上解决这一问题。例如Mooncake将KV缓存缓存在分布式DRAM池中通过亲和性感知调度提升命中率但在内存受限的强化学习滚出阶段或工作集巨大的在线服务场景中要么无法使用要么成本过高另有部分方案试图减少KV缓存的检索数据量或降低检索开销却未能解决不同引擎间存储I/O失衡的固有问题。除此之外硬件的发展趋势也加剧了智能体大模型推理的I/O瓶颈。近年来GPU的浮点运算能力FLOPS呈指数级增长但网络带宽和HBM容量的提升速度远远落后从NVIDIA Ampere到Blackwell架构I/O-计算比下降了14.4倍。有限的网卡带宽限制了KV缓存的加载速度导致GPU频繁处于空闲状态而较小的HBM容量则限制了GPU内核可同时处理的令牌批处理大小难以充分利用张量核心等计算单元。三重因素叠加让智能体大模型推理的性能困局愈发突出。DualPath的核心创新双路径KV缓存加载与全链路优化DualPath的核心洞察在于KV缓存的加载并非必须以预填充引擎为中心现有系统的核心问题是未能利用解码引擎闲置的远程存储带宽。基于这一洞察DualPath设计了创新的双路径KV缓存加载架构在传统的“存储-预填充”路径之外新增了一条“存储-解码”路径KV缓存可先加载到解码引擎中再通过计算网络上的高性能RDMA技术高效传输至预填充引擎。通过在两条路径间动态分配负载DualPath整合了所有引擎的存储网卡带宽消除了带宽饱和的不对称性将存储I/O从单一瓶颈资源转化为全局池化、可调度的资源能力。双路径KV缓存加载的实现逻辑为了实现双路径加载DualPath在每个预填充引擎和解码引擎上都分配了少量DRAM作为缓冲区即PE缓冲区和DE缓冲区两条路径的工作流程各有侧重且均与计算过程高度重叠最大限度提升资源利用率。在传统的PE读取路径中命中令牌的KV缓存从持久化存储读取至PE缓冲区在注意力层计算前该层的KV缓存被传输至PE的HBM中用于计算缓存未命中提示令牌的KV缓存。随后命中和未命中令牌的所有KV缓存都会被传输至DE缓冲区形成完整的提示KV缓存这一过程会随模型层数重复执行且传输过程与预填充前向计算完全重叠。而新增的DE读取路径中命中令牌的KV缓存会先读取至DE缓冲区在PE预填充过程中对应层的KV缓存从DE缓冲区读取并传输至PE的HBM同样与计算过程重叠。当某一层的计算完成后仅将未命中令牌的KV缓存传输至DE缓冲区与已有的命中令牌KV缓存合并大幅减少了数据传输量。进入解码阶段后DE缓冲区接收完整的提示KV缓存先分配HBM并执行主机到设备的传输随后释放CPU内存再开始解码。在解码过程中每当累积一定数量的令牌块就会立即持久化到磁盘中保证KV缓存的跨轮次复用。同时DualPath设计了全块和层块两种不同的块布局与存储的交互均采用包含所有层的全块而预填充引擎与解码引擎间的传输则采用仅包含单个层的层块既保证了存储效率又适配了分层预填充的计算逻辑。无瓶颈的架构设计验证DualPath通过严谨的理论分析证明了在大多数合理的预填充-解码P/D节点比例下系统能够充分饱和所有存储网卡且不会引入计算网卡或DRAM瓶颈。研究团队设定了通用的硬件参数每个节点配备g个GPU每个GPU有一个带宽为B的计算网卡每台机器的存储带宽为s×B内存带宽为M。通过对PE计算网卡、DE计算网卡的读写流量以及DRAM压力进行逐一分析最终推导出瓶颈自由的P/D比例范围为s/(g-s) ≤ P/D ≤ min{(g-2s)/s, (g-s)/2s, (M/Bs-3)/2}。在实际的硬件配置中当g8、s1M≈500GB/s、Bs≈50GB/s时瓶颈自由范围为1/7 ≤ P/D ≤ 7/2完全覆盖了工业界的主流配置证明了双路径架构在实际部署中的可行性。三大核心挑战的技术突破实现双路径加载架构并非简单的路径新增而是涉及数据传输、流量隔离、动态负载均衡的全链路优化DualPath针对落地过程中的三大核心挑战设计了针对性的解决方案。第一解决细粒度数据传输的开销问题。分层执行范式将KV缓存分割为大量细粒度块若传输开销过大将抵消双路径架构的性能增益。DualPath让数据传输与计算过程深度重叠同时采用层块传输的方式适配分层预填充的计算逻辑最大限度减少细粒度块传输的额外开销。第二解决流量干扰的问题。双路径架构会在计算网络和PCIe链路上引入额外的KV缓存传输流量若与模型执行中对延迟敏感的集体通信操作如专家并行中的AllToAll、张量并行中的ReduceScatter/AllGather产生干扰将严重降低推理性能。对此DualPath提出了以计算网卡CNIC为中心的流量管理方案让所有进出GPU的数据流量都通过与GPU配对的CNIC并基于RDMA数据路径传输。借助计算网络的原生服务质量QoS能力将模型推理通信流量分配至专用的高优先级虚拟通道VLKV缓存传输流量分配至低优先级VL交换机和网卡的VL仲裁器采用加权轮询策略为高优先级流量保留99%的带宽既保证了推理通信不受影响又让KV缓存流量能利用闲置带宽。第三解决动态负载均衡的问题。若路径选择策略不合理可能导致某一条路径过载重新形成性能瓶颈。DualPath设计了自适应请求调度器将调度分为引擎间调度和引擎内调度两个层级同时实现存储网卡、GPU计算资源的双重负载均衡。引擎间调度将请求分配至合适的PE-DE对并为每个请求选择最优的读取路径优先将请求分配给磁盘读取队列短、负载低的引擎引擎内调度则针对预填充引擎设计了计算配额机制通过预估注意力层的执行时间控制每一批次的请求数量避免GPU因同步等待产生空闲气泡提升计算资源利用率。全维度性能验证离线与在线场景均实现大幅突破为了验证DualPath的实际性能研究团队基于自研的推理框架实现了DualPath系统修改代码量约5000行采用3FS作为分布式存储并通过io_uring-like接口实现内核旁路。实验基于配备NVIDIA Hopper GPU和InfiniBand互连的GPU服务器集群展开每个服务器有8个GPU配备8个400Gbps RDMA网卡和1个存储网卡计算网络与存储网络物理隔离。实验选取了三款具有代表性的模型DeepSeek V3.2 660B稀疏注意力的MoE模型、DeepSeek V3.2 27B660B的缩容版本、Qwen2.5-32BGQA的稠密模型并从生产环境的智能体强化学习训练负载中收集了三组不同最大上下文长度32K、48K、64K的轨迹数据集每个数据集包含500条轨迹覆盖了智能体大模型推理的典型工作负载。同时设置了三个基准对比系统基于SGLang并启用Mooncake的SGL(MC)、未做任何修改的自研推理框架Basic、绕过所有I/O操作的理论性能上限Oracle。离线批处理推理吞吐量提升最高1.87倍离线批处理推理对应强化学习训练中的滚出阶段核心评估指标为作业完成时间JCT。实验结果显示DualPath在不同模型、不同代理批处理大小、不同最大上下文长度下均实现了作业完成时间的大幅缩短性能提升随批处理大小和上下文长度的增加而更加显著。在DeepSeek V3.2 660B模型上DualPath的作业完成时间较Basic系统最高缩短至原来的1/1.87性能接近Oracle理论上限说明双路径架构基本消除了KV缓存I/O的瓶颈在DeepSeek V3.2 27B模型上性能提升最高达1.78倍Qwen2.5-32B模型也呈现出相似的性能提升趋势。当追加令牌长度和生成令牌长度较短时DualPath的优势更为明显而随着追加长度增加计算压力逐渐成为瓶颈Basic的性能逐渐向DualPath靠拢但DualPath仍能实现1.82-1.99倍的加速比。同时预填充-解码比例的实验验证了存储带宽是智能体场景的核心瓶颈Basic系统仅能利用预填充节点的存储带宽而DualPath能利用所有节点的存储带宽因此当两者的可用存储带宽相当时性能表现接近。在不同P/D比例下DualPath的平均加速比达1.64倍最高达2.46倍充分证明了双路径架构对存储带宽的高效利用。在线服务推理吞吐量平均提升1.96倍且满足SLO在线服务场景的评估遵循Poisson过程的代理到达率设定服务等级协议为首令牌延迟TTFT≤4秒令牌间延迟TPOT≤50毫秒核心评估指标为每秒代理到达率APS、首令牌延迟、次令牌延迟TTST和令牌间延迟。实验结果显示DualPath的在线服务容量远高于Basic系统在DeepSeek V3.2 660B模型上实现了2.25倍的APS提升DeepSeek V3.2 27B模型上实现了1.67倍的APS提升平均提升1.96倍且所有延迟指标均满足SLO要求。DualPath的次令牌延迟与Basic相当令牌间延迟未引入额外开销说明双路径架构仅优化了KV缓存加载过程对解码阶段的延迟无负面影响。进一步的延迟拆解分析显示随着到达率提升Basic系统的排队时间因存储带宽不足呈指数级增长而DualPath的首令牌延迟各组成部分保持稳定排队时间始终处于较低水平充分体现了动态调度和双路径加载对存储I/O压力的缓解效果。消融实验与负载均衡各模块协同实现性能增益为了量化DualPath各技术模块的贡献研究团队开展了消融实验将核心技术分为分层预填充、双路径加载、调度算法三部分逐步添加并评估性能变化。实验结果显示相较于基础系统Basic单独添加分层预填充技术平均可减少17.21%的作业完成时间主要作用是缓解预填充引擎的HBM瓶颈隐藏数据传输开销在分层预填充的基础上添加双路径加载平均可减少38.19%的作业完成时间这是性能提升的核心来源实现了所有存储带宽的全局利用最终添加自适应调度算法后作业完成时间平均减少45.62%证明了负载均衡对资源利用率的进一步提升。负载均衡测试结果显示DualPath的调度算法将存储网卡流量的最大/平均比从1.53降至1.18实现了存储带宽的均衡利用对于注意力层的执行时间最大/平均比低至1.06大幅减少了GPU的空闲气泡提升了计算资源的利用率。大规模可扩展性近线性扩展且调度无瓶颈为了验证DualPath的大规模部署能力研究团队开展了多达1152个GPU的大规模实验离线推理从2P4D2000个代理扩展至48P96D48000个代理实现了近线性的加速比作业完成时间基本相当3167秒 vs 3201秒在线服务从2P4D0.4 APS扩展至44P88D8.8 APS吞吐量提升22倍且延迟指标保持稳定。在整个大规模实验过程中调度器的CPU使用率始终低于10核证明调度器并非系统瓶颈DualPath具备在超大规模集群中部署的能力。技术启示与未来方向DualPath的提出不仅为解决智能体大模型推理的存储带宽瓶颈提供了可行的技术方案更带来了大模型推理系统设计的全新思考在大模型从计算密集型向I/O密集型转变的趋势下推理系统的设计需要打破单一引擎的资源边界实现全局资源的池化与调度。传统的以预填充为中心的设计思路已无法适配智能体大模型的工作负载特征而通过架构创新挖掘闲置资源的利用潜力成为提升系统性能的关键方向。从技术落地的角度DualPath的以计算网卡为中心的流量管理方案、自适应的负载调度策略均可复用于其他大模型推理系统为现有系统的优化提供了参考。同时DualPath与现有分布式内存缓存池、KV缓存量化、预计算等技术具有良好的兼容性可结合使用实现进一步的性能提升。当然DualPath仍存在一定的优化空间也为后续的研究指明了方向。其一智能体离线推理的工作负载具有高度动态性例如强化学习任务的预填充阶段在前半程的压力远高于后半程未来需要设计更自适应、更灵活的并行度和P/D比例配置方案如通过模拟器进行离线调优或在线动态调整机制提升系统对动态工作负载的适配能力其二调度算法仍有优化空间尤其是在大规模部署场景下如何进一步降低首令牌延迟的百分位数提升服务的稳定性是后续的研究重点其三目前的双路径加载仅支持为单个请求选择单一的读取路径未来可探索将请求拆分从两条路径同时读取KV缓存进一步提升加载效率。此外智能体大模型推理的工作集大小随系统吞吐量的提升呈平方级增长在真实的生产环境中工具调用延迟、请求到达间隔等因素会让工作集进一步扩大如何在有限的存储资源下实现KV缓存的高效管理与复用结合双路径架构进一步提升系统的可扩展性也是未来需要解决的问题。结语智能体大模型是大语言模型从实验室走向产业落地的重要形态而存储带宽瓶颈成为制约其性能提升和规模部署的核心障碍。DualPath通过创新的双路径KV缓存加载架构打破了预填充引擎的存储带宽限制充分利用了解码引擎的闲置资源结合流量隔离和自适应调度实现了存储网络和计算资源的全局均衡利用。在真实的智能体工作负载下DualPath实现了离线推理吞吐量最高1.87倍、在线服务吞吐量平均1.96倍的性能提升为智能体大模型推理的高性能部署提供了全新的技术范式。随着大模型的持续升级上下文长度不断增加、智能体的交互轮次持续提升I/O瓶颈将愈发突出。DualPath的研究思路证明通过架构创新重新梳理数据流动路径挖掘全局资源的利用潜力是解决大模型推理性能瓶颈的有效方向。未来随着硬件技术的发展和软件架构的持续优化大模型推理系统将实现计算、存储、网络资源的深度协同为智能体大模型的规模化落地奠定坚实的技术基础。