做国外网站的站长,如何建立论坛,滑雪网站的建设,推广分享DeepSeek架构新探索#xff01;开源OCR 2诞生#xff01; 此前#xff0c;DeepSeek-OCR的首次问世#xff0c;已引发视觉压缩领域的广泛关注与学术探讨#xff1b;而在本次迭代中#xff0c;DeepSeek研发团队聚焦视觉编码模块开展核心技术升级。值得关注的是#xff0c;…DeepSeek架构新探索开源OCR 2诞生此前DeepSeek-OCR的首次问世已引发视觉压缩领域的广泛关注与学术探讨而在本次迭代中DeepSeek研发团队聚焦视觉编码模块开展核心技术升级。值得关注的是新发布的DeepSeek-OCR 2通过引入DeepEncoder V2架构成功实现视觉编码领域从“固定扫描”模式向“语义推理”范式的关键性转型。与DeepSeek以往的模型发布惯例一致本次DeepSeek-OCR 2的推出同步开源了模型本体及配套技术报告为相关领域的学术研究与工程实践提供了重要支撑。具体而言本研究的核心创新点在于将传统基于CLIP的编码器替换为轻量级语言模型Qwen2-500M并引入具备因果注意力机制的“因果流查询”模块。该设计突破了传统模型需按从左至右、从上至下栅格顺序处理图像的固有局限使编码器具备根据图像语义信息动态重排视觉Token的能力。依托编码器重排与译码器解析构成的两级级联1D因果推理结构模型可更精准地复现复杂文档含表格、公式及多栏布局等场景的自然阅读逻辑。相较于传统模型机械性的图像扫描模式本研究提出的架构摆脱了固定处理范式的束缚实现了视觉信息处理的语义驱动优化。在维持超高数据压缩效率的前提下DeepSeek-OCR 2在多项基准测试及生产指标中均取得显著突破模型仅需256至1120个视觉Token即可覆盖复杂文档页面该Token量级在同类模型中处于较低水平大幅降低了下游大语言模型LLM的计算开销。在OmniDocBench v1.5基准评测中其综合得分达91.09%较前代模型提升3.73个百分点尤其在阅读顺序识别任务中展现出更优异的逻辑连贯性。此外在实际生产场景中该模型有效降低了OCR识别结果的重复率同时为构建统一的全模态omni-modal编码器提供了可行的技术路径。从长远来看该技术方案为实现单一AI架构对语音、视频等多模态数据的统一处理奠定了基础为多模态深度融合提供了重要技术支撑。DeepSeek-OCR 2 架构01核心原理DeepSeek-OCR 2沿用了DeepSeek-OCR的整体框架设计其核心结构仍由编码器encoder与解码器decoder构成。其中编码器的核心功能为完成图像的离散化处理将原始图像信息转化为视觉token解码器则以该视觉token为输入基础在文本提示text prompts的条件约束下实现输出结果的生成。两者的核心差异聚焦于编码器模块DeepSeek研发团队将原有DeepEncoder架构升级为DeepEncoder V2版本。该升级方案在完整承袭前代编码器核心功能与性能优势的基础上通过创新化的架构设计实现了因果推理能力causal reasoning的引入与集成。02DeepEncoder V2DeepEncoder V2的首个核心组成模块为视觉分词器vision tokenizer。该模块延续了DeepEncoder的基础设计思路采用由参数规模8000万的SAM-base模型与两层卷积层构成的复合架构。相较于DeepEncoder本版本将最终卷积层的输出维度从1024维调整至896维以实现与后续处理流程的维度适配与协同。在DeepEncoder架构中视觉分词器之后串联的是CLIP ViT模块其核心作用是实现视觉语义的进一步压缩与建模。而DeepEncoder V2对该核心组件进行了重构优化将其改造为类大语言模型LLM的架构形态并创新性引入双流注意力机制dual-stream attention。具体而言视觉token采用双向注意力机制以完整保留CLIP模型原本具备的全局语义建模能力新增的因果流查询causal flow queries则采用因果注意力机制此类可学习查询token以后缀形式附加于视觉token之后每个查询token可对全部视觉token及自身之前的查询token进行注意力关联。通过维持查询token与视觉token的数量一致性该设计在不改变整体token总量的前提下对视觉特征施加了语义层面的排序约束与蒸馏优化。最终仅有因果查询token的输出结果被传入LLM解码器进行后续处理。从整体架构逻辑来看DeepEncoder V2构建了一种两阶段级联式因果推理机制第一阶段编码器通过可学习查询token对视觉token进行语义层面的重排序第二阶段LLM解码器基于该有序序列执行自回归推理。与传统编码器依赖位置编码施加刚性空间顺序约束的设计不同这种基于因果排序查询的机制能够更自然地契合连续视觉语义的内在逻辑且与LLM的单向注意力模式具有高度兼容性。该架构设计有望为二维空间结构建模与一维因果语言建模之间构建有效的适配桥梁实现两类建模范式的协同融合。03 DeepSeek-MoE DecoderDeepSeek-OCR 2的核心改进聚焦于编码器模块并未对解码器部分实施架构升级。基于这一设计逻辑该模型继续沿用DeepSeek-OCR的解码器架构——其采用参数规模为30亿的混合专家MoE结构在推理阶段仅约5亿参数处于激活状态。训练数据与训练流程1.如何训练数据层面DeepSeek-OCR 2沿用与前代一致的数据源含OCR 1.0、OCR 2.0及通用视觉数据其中OCR数据占混合训练数据的80%并新增两项优化一是对OCR 1.0数据采用均衡采样策略按正文、公式、表格3:1:1的比例划分页面二是合并语义相似类别如统一“插图说明”与“插图标题”优化布局检测标签体系。模型训练分为三阶段实施1编码器预训练2查询增强3LLM持续训练解码器专门化。第一阶段核心目标为使视觉分词器与LLM风格编码器掌握特征提取、token压缩及重排基础能力。采用语言建模目标耦合编码器与轻量级解码器优化下一个token预测加载768×768与1024×1024两种分辨率数据视觉分词器初始化自DeepEncoderLLM风格编码器初始化自Qwen2-0.5B-base预训练后仅保留编码器参数。训练采用AdamW优化器余弦退火学习率1e-4降至1e-6基于160台A100 GPU20节点×8台GPU以批大小640训练40k迭代序列长度8K含约1亿图文对样本。第二阶段聚焦强化编码器token重排能力与视觉知识压缩将预训练后的DeepEncoder V2与DeepSeek-3B-A500M整合冻结视觉分词器联合优化LLM编码器与解码器以强化查询表示。采用多裁剪策略统一分辨率配置4阶段流水线并行基于160台40GB显存GPU40个数据并行副本每副本4台GPU以批大小1280训练15k迭代学习率从5e-5退火至1e-6。第三阶段冻结DeepEncoder V2所有参数仅更新LLM解码器参数旨在提升训练效率相同批大小下速度翻倍以上并强化LLM对重排后视觉token的理解。采用余弦退火学习率1e-6降至5e-8训练20k迭代承接第二阶段完成训练闭环。2.评估结果研究团队选取OmniDocBench v1.5作为核心评测基准该基准涵盖1355页文档覆盖中英文双语言及杂志、学术论文、研究报告等9大类文档类型。依托多样化测试样本与严苛评测准则该基准为验证DeepSeek-OCR 2整体性能及DeepEncoder V2架构有效性提供了可靠支撑。如表所示在采用最小视觉token上限配置时DeepSeek-OCR 2仍取得91.09%的领先性能。在训练数据来源相近的前提下相较于DeepSeek-OCR基线模型其性能提升3.73%验证了新架构设计的有效性。此外除整体性能提升外阅读顺序R-order指标的编辑距离Edit Distance, ED从0.085降至0.057表明DeepEncoder V2可基于图像信息更高效地完成初始视觉token的筛选与排序。如表所示在视觉token预算一致1120的条件下DeepSeek-OCR 2在文档解析任务中的ED值0.100低于Gemini-3 Pro0.115。这一结果进一步证实新模型在维持高视觉token压缩率的同时可保障更优的任务性能展现出显著的应用潜力。3.改进空间研究团队针对9类文档类型对DeepSeek-OCR与DeepSeek-OCR 2开展了精细化性能对比结果显示如表3所示DeepSeek-OCR 2仍存在较大性能提升空间。在文本识别编辑距离ED指标上DeepSeek-OCR 2在多数场景下表现优于前代模型但在部分文档类型如报纸类仍存在显著短板其ED值超过0.13。研究团队分析认为核心原因主要有两方面一是视觉token上限偏低可能影响文本密集型报纸类文档的识别效果该问题可通过未来增加局部裁剪local crops数量予以缓解二是报纸类训练数据不足当前训练集仅包含约25万条相关样本难以充分支撑DeepEncoder V2的训练需求。值得注意的是在阅读顺序R-order指标上DeepSeek-OCR 2在所有文档类别中均持续优于DeepSeek-OCR这一结果进一步验证了所提出的“视觉因果流”编码器设计的有效性。4.实际应用DeepSeek-OCR主要面向两类核心生产场景其一为DeepSeek-LLM提供图像/文档读取能力的在线OCR服务其二为批量PDF处理搭建的预训练数据流水线。考虑到真实生产环境中缺乏标准答案的客观约束研究团队将“重复率”作为核心质量评估指标开展DeepSeek-OCR 2与前代模型的生产性能对比。如表所示相较于DeepSeek-OCRDeepSeek-OCR 2的实际可用性显著提升在线用户日志图像场景下重复率从6.25%降至4.17%PDF数据生产场景下重复率从3.69%降至2.88%。该结果进一步验证了DeepSeek-OCR 2架构设计的有效性尤其凸显了其在视觉语义逻辑理解维度的核心优势。