php源码建站 一品资源,wordpress 升级php版本,女生学动漫制作专业,叮当app制作官网近日#xff0c;华中科技大学和字节跳动联合推出了 Stable-DiffCoder。这不仅仅是一个新的扩散代码模型#xff0c;更是一次关于 「扩散训练能否提升模型能力上限」 的深度探索。扩散语言模型#xff08;Diffusion Language Models, DLLMs#xff09;因其多种潜在的特性而备…近日华中科技大学和字节跳动联合推出了 Stable-DiffCoder。这不仅仅是一个新的扩散代码模型更是一次关于 「扩散训练能否提升模型能力上限」 的深度探索。扩散语言模型Diffusion Language Models, DLLMs因其多种潜在的特性而备受关注如能加速的非自回归并行生成特性能直接起草编辑的特性能数据增强的特性。然而其模型能力往往落后于同等规模的强力自回归AR模型。近日华中科技大学和字节跳动联合推出了 Stable-DiffCoder。这不仅仅是一个新的扩散代码模型更是一次关于 「扩散训练能否提升模型能力上限」 的深度探索。Stable-DiffCoder 在完全复用 Seed-Coder 架构、数据的条件下通过引入 Block Diffusion 持续预训练CPT及一系列稳定性优化策略成功实现了性能反超。在 多个 Code 主流榜单上如 MBPPBigCodeBench 等它不仅击败了其 AR 原型更在 8B 规模下超越了 Qwen2.5-Coder Qwen3DeepSeek-Coder 等一众强力开源模型证明了扩散训练范式本身就是一种强大的数据增强手段。论文标题Stable-DiffCoder: Pushing the Frontier of Code Diffusion Large Language Model论文链接: https://arxiv.org/pdf/2601.15892Github 链接: https://github.com/ByteDance-Seed/Stable-DiffCoder模型链接: https://huggingface.co/collections/ByteDance-Seed/stable-diffcoder扩散过程难以高效学习样本知识扩散过程虽然表面上可以扩充很多数据可以作为一个数据增强的手段但是实际上会引入很多噪声甚至错误知识的学习。例如下面的例子将其 mask 成可以发现对于最后一个 mask_n其只能在看见 a1b2 的情况下去学习 ab7会形成错误的知识映射。最后充其量也只能学到a3b4 在 ab 这个语境下的共现概率更大一点不能学到明确的加法规则。token 推理的知识和流程设计论文通过建模这个知识的学习来解释这个现象假设 c 是当前可见的样本根据真实分布通过这些样本在当前位置能够推理出的 token 集合为 C (c)大小为 K (c)这里多个 token 同时推理的情景一致因此只简单的考虑单个 token 推理。由于使用的真实分布来定义的所以 c 越多越干净的时候K (c) 越小。可以知道模型最后希望学习的分布是而要学好这个过程需要满足两个条件1K (c) 比较小2从数据中采样的 c 要尽可能多。因此如果用纯双向的扩散过程在 mask 比例较大的时候当前 token 见到的 c 变小不干净的概率变大导致 K (c) 变大难以映射到清晰的规则。同时其会产生会产生各种各样的 c平均每个 c 的学习量会减小。另外还要保证训练采样的 c 跟推理用的 c 是一致的才能更好的使用训练学习的知识。接下来论文通过在 2.5B 的模型设计实验来进一步阐释并证明这个结论。论文从一个 AR model 初始化然后训练一段新的知识。论文设计了 3 个训练方式来探索1AR-BiDLLM: 用 AR 的方式继续训练在 100k step 的时候 CPT 成双向的 DLLM。2ARDLLM-BiDLLM: 用 AR 的结构但是使用纯双向的采样模式来训练。然后 100k step CPT 成 BiDLLM。3BiDLLM使用纯双向的 DLLM 训练。可以发现最后效果是123这也符合前面的理论。不用随机 [MASK] 的1方案对于知识有更快的压缩速度并且转换成 BiDLLM 也保持着最佳性能这可以证明在要高效的学好一个 DLLM可以用 AR 或者小 block size 的 block diffusion 来进行知识压缩。另外有趣的是在 block32 时1和2的表现比3差但是在 100k 之后表现比3好。100k 之前可以说明AR 采样的 c 跟 block size32 推理过程的 c 不太匹配但是由于 AR 压缩了大量有用的知识稍微 CPT 一下就能适配这种推理过程。同时也可以说明AR 这种结构的先验可能更适合 promptresponse 这种从左侧开始推理的过程。因此我们将训练流程设计为先用 AR 压缩一遍知识然后用 AR 退火的前一个 checkpoint 继续 CPT 成小 block 的 block diffusion来探索 diffusion 过程的数据增强能力。稳定的 DLLM warmup 策略持续预训练设计扩散模型的持续预训练通常对超参数的设计如学习率非常敏感容易出现 grad norm 的异常变高这也会受到各种训练架构的影响。为了保持各种训练架构的学习稳定以及繁杂的调参过程团队设计了一种适配的 warmup 策略。DLLM 的 CPT 过程不稳定主要受到下面 3 个原因影响1Attention 从单向变成双向2Mask 变多导致任务变得很难3为了对齐 ELBO会在交叉熵前面乘上加权系数。比如只 mask 了一个 token会等价于只计算了这个 token 的 loss会大幅增大这个 token 对于梯度的影响进而影响 grad norm 和 loss。由于退火 attention 的方式难以灵活适配 flash attention 等架构该团队针对23来设计 warmup 过程。具体的在 warmup 阶段将 mask 比例上界逐渐 warmup 到最大值从而使得一开始任务从易变难。其次在 warmup 阶段去掉交叉熵中加权的系数从而让每个 token 对 loss 的影响更平稳Block-wise 截断的噪声调度在使用 block diffusion 时由于通过 cross attention 拼接了干净的前缀可以使得每个 token 都产生有用的 loss。然而如果使用传统的 noise schedule 会使得有些块不产生 loss 信号通过求解积分可以算出 block 不产生信号的概率如下这在小 block 时会特别明显因此团队做了两个设计1强制每个块都采样一个 token2将 noise 采样下界设置为 1/B这样可以使得至少期望采样一个 token。同时可以避免强制采样 1 个 token 之后原本对应的 t 过小从而使得交叉熵加权过大的问题。实验结果多个代码 benchmark 在 8B 左右的模型保持领先对于 Base 模型Stable-DiffCoder-8B-Base 在代码生成多代码语言生成代码推理上表现出色。超过一系列 AR 和 diffusion-based 的模型。另外可以发现模型在稀疏代码语言上如 C#PHP 等预训练中数据较少相比于 AR baseline 得到了大幅增强可以证明 DLLM 的训练过程起到了一定的数据增强的效果。同时在代码推理能力上也得到了增强。对于 Instruct 模型Stable-DiffCoder-8B-Instruct 在代码生成代码编辑代码推理等任务上做了综合评测并有着优越的表现。其中在常用的任务humanevalmbpp上大幅超过原有 AR baseline 和其他 8B 左右的 DLLM model。在测试集闭源的 MHPP 达到 qwen32B 的水平BigCodeBench 上更是超过一系列模型并仅次于 DeepSeek236B 的模型。同时在代码编辑 CanItEdit 任务上更是有着惊艳的效果。总结与展望Stable-DiffCoder 的发布打破了 「扩散模型只能做并行加速」 的刻板印象。它证明了扩散训练范式本身就是一种极佳的表征学习手段。通过合理的课程设计及稳定性优化扩散模型完全可以在代码理解和生成质量上超越传统的 AR 模型。对于未来的大模型演进Stable-DiffCoder 提示了一条新路径也许我们不需要抛弃 AR而是将 AR 作为高效的知识压缩器再利用 Diffusion 作为 「强化剂」进一步推高模型的智能上限。