asp网站建设中期报告seo技术网站建设

asp网站建设中期报告,seo技术网站建设,重庆传媒公司前十名,西安市规划建设局网站大模型微调发展现状 让大模型从通用领域过渡到垂类领域#xff0c;往往需要采用大模型微调。 本文将汇总大模型中参数高效微调#xff08;PEFT#xff0c;parameter-efficient fine-tuning#xff09;的主流方法#xff0c;以此了解当前该领域的发展现状。 本文主要参考了…大模型微调发展现状让大模型从通用领域过渡到垂类领域往往需要采用大模型微调。本文将汇总大模型中参数高效微调PEFTparameter-efficient fine-tuning的主流方法以此了解当前该领域的发展现状。本文主要参考了Parameter-efficient fine-tuning in large language models: a survey of methodologies[1]这篇综述文章其中作者把各方法分成了多个类别。整体来看主要分以下六大派系。添加派(Additive)添加派的方法是将一小组可训练参数添加到预训练模型中并仔细集成到其架构中。在对特定下游任务进行微调时仅调整这些额外的组件或参数保持原始预训练的模型参数不变。适配器(Adapter)将小型适配器层插入到预先训练的模型中。一些经典的方法包括Standard Adapter由下投影、非线性激活函数和上投影层组成Hadamard Adapter采用权重向量和偏置向量将 Hadamard 乘积逐元素乘法和逐元素加法应用于自注意力输出从而产生新的自注意力输出Tiny-Attention Adapter通过在 Adapter 中嵌入一个低维、低头数的注意力机制对隐藏特征进行局部建模与动态重加权。软提示(Soft prompt)软提示是指将一系列可训练连续向量称为软提示附加到预训练语言模型的输入中。这些软提示充当附加上下文引导模型获得特定任务所需的输出。在训练过程中软提示被优化以促进模型适应新任务而模型的其余部分基本保持不变。缩放和平移(Scale and Shift)缩放和平移是指通过对模型内部激活或权重施加可学习的缩放与偏移参数实现对特征分布的轻量调整有点类似于BN层里面的缩放和平移参数。一些经典的方法包括(IA)3添加三个缩放向量来分别缩放键、值和前馈激活SSF通过线性变换修改预训练模型提取的深层特征PASTA修改了预训练模型中的特殊令牌表示重参数化派Reparameterized重参数化派主要是构建低秩可学习参数矩阵以适应特定的下游任务。训练时仅对低秩参数矩阵进行微调而在推理时将学习到的矩阵与预训练的参数相结合以确保推理速度不受影响。低秩分解Low-rank Decomposition通过低秩矩阵分解(LoRA)的方式将原本高维的权重更新压缩为少量可训练参数。这个方法估计是最有名的不必多言。LoRA 衍生方法LoRA Derivatives在LoRA基础上引入动态秩、自适应更新或结构改进机制以进一步提升参数利用效率、稳定性或任务泛化能力。以下是一些经典的改进方法DyLoRA通过在训练期间针对一系列等级训练低等级适配器LoRA块按不同等级排序使模型能够灵活并在更广泛的等级范围内表现良好AdaLoRA根据权重矩阵的重要性得分动态分配权重矩阵之间的预算其中增量更新以奇异值分解的形式参数化IncreLoRA在训练过程中根据每个模块的重要性分数增量分配可训练参数选择派Selective选择派是选择预训练模型参数的一个非常小的子集进行微调。根据参数选择的方式不同可分为非结构化选择和结构化选择。非结构化选择Unstructured Selection通过掩码、剪枝或参数重要性评估仅更新模型中对任务最关键的参数子集而不对整体结构施加约束灵活性高但可解释性相对较弱。一些经典的方法LoRAPrune利用低秩矩阵A和B的梯度来近似预训练模型权重W0中每个参数的重要性然后使用低秩矩阵A和B以迭代和渐进的方式执行结构化剪枝在保持性能的同时有效地减小模型的大小Child-tuning在微调期间仅更新参数子集称为子网络同时屏蔽后向传递中剩余参数的梯度LT-SFT根据彩票假设 (LTH) 的变体学习稀疏的实值掩码以实现零样本跨语言迁移结构化选择Structured Selection以模块、层级或特定功能单元为粒度进行参数选择性更新强调结构一致性比非结构化选择会更有解释性。比如Xattn Tuning仅更新机器翻译 Transformer 模型中的交叉注意力参数表明它可以实现与微调整个模型几乎相同的性能同时还可以实现跨语言对齐的嵌入从而减轻灾难性遗忘并实现零样本翻译功能。混合派Hybrid通过组合多种参数高效微调范式如 Adapter、Prompt、低秩分解或选择性更新在表达能力与参数效率之间取得更优平衡。换句话说就是把前面的哪些方案做了融合。量化派Quantization通过低比特表示或量化感知训练对可训练参数或权重更新过程进行压缩使超大规模模型能够在受限硬件条件下完成微调与部署。比较出名的工作是QLoRA利用 4 位 NormalFloat (NF4) 精度来量化预训练模型并通过双量化和分页优化器进行增强以防止梯度检查点内存峰值。QA-LoRA通过采用分组操作来解决量化和自适应之间的不平衡增加了低比特量化的灵活性。它在微调期间LLM 权重被量化以节省时间和内存微调后LLM 和辅助权重无缝集成到量化模型中而不会损失准确性。多任务派Multi-task上面的各方法都是为下游单任务服务多任务派就是用下游多个任务去共同学习对于方法的类型上没有大的区别基于 Adapter通过共享或融合多个任务对应的适配器模块实现跨任务知识迁移与高效复用。基于软提示Soft Prompt为不同任务分配独立或可组合的提示向量在共享主干模型的同时实现多任务适配。基于低秩分解LoRA在低秩参数空间中引入任务条件或模块化设计使模型能够在多个任务之间进行高效切换与联合训练。总结看下来大模型微调领域范式创立时期是 2021-2023 年LoRA (2021)、P-Tuning v2 (2021)、QLoRA (2023) 解决了大模型微调的根本问题如何在有限硬件上高效且不牺牲太多性能地微调模型。是到23年之后就没有大的变化基本上都是在基石基础上缝缝补补的小改进。在工程领域研究的更多的是把 QLoRA/LoRA 运行得更快、更稳定的问题。比如FlashAttention 等技术实现了训练效率的提升以及内存管理策略的优化。一句话总结如果要工程应用采用Adapter/LoRA足够解决问题如果要做学术研究可挖掘的空间不大。参考[1] https://arxiv.org/abs/2410.19878想入门 AI 大模型却找不到清晰方向备考大厂 AI 岗还在四处搜集零散资料别再浪费时间啦2026 年AI 大模型全套学习资料已整理完毕从学习路线到面试真题从工具教程到行业报告一站式覆盖你的所有需求现在全部免费分享扫码免费领取全部内容​一、学习必备100本大模型电子书26 份行业报告 600 套技术PPT帮你看透 AI 趋势想了解大模型的行业动态、商业落地案例大模型电子书这份资料帮你站在 “行业高度” 学 AI1. 100本大模型方向电子书2. 26 份行业研究报告覆盖多领域实践与趋势报告包含阿里、DeepSeek 等权威机构发布的核心内容涵盖职业趋势《AI 职业趋势报告》《中国 AI 人才粮仓模型解析》商业落地《生成式 AI 商业落地白皮书》《AI Agent 应用落地技术白皮书》领域细分《AGI 在金融领域的应用报告》《AI GC 实践案例集》行业监测《2024 年中国大模型季度监测报告》《2025 年中国技术市场发展趋势》。3. 600套技术大会 PPT听行业大咖讲实战PPT 整理自 2024-2025 年热门技术大会包含百度、腾讯、字节等企业的一线实践安全方向《端侧大模型的安全建设》《大模型驱动安全升级腾讯代码安全实践》产品与创新《大模型产品如何创新与创收》《AI 时代的新范式构建 AI 产品》多模态与 Agent《Step-Video 开源模型视频生成进展》《Agentic RAG 的现在与未来》工程落地《从原型到生产AgentOps 加速字节 AI 应用落地》《智能代码助手 CodeFuse 的架构设计》。二、求职必看大厂 AI 岗面试 “弹药库”300 真题 107 道面经直接抱走想冲字节、腾讯、阿里、蔚来等大厂 AI 岗这份面试资料帮你提前 “押题”拒绝临场慌1. 107 道大厂面经覆盖 Prompt、RAG、大模型应用工程师等热门岗位面经整理自 2021-2025 年真实面试场景包含 TPlink、字节、腾讯、蔚来、虾皮、中兴、科大讯飞、京东等企业的高频考题每道题都附带思路解析2. 102 道 AI 大模型真题直击大模型核心考点针对大模型专属考题从概念到实践全面覆盖帮你理清底层逻辑3. 97 道 LLMs 真题聚焦大型语言模型高频问题专门拆解 LLMs 的核心痛点与解决方案比如让很多人头疼的 “复读机问题”三、路线必明 AI 大模型学习路线图1 张图理清核心内容刚接触 AI 大模型不知道该从哪学起这份「AI大模型 学习路线图」直接帮你划重点不用再盲目摸索路线图涵盖 5 大核心板块从基础到进阶层层递进一步步带你从入门到进阶从理论到实战。L1阶段:启航篇丨极速破界AI新时代L1阶段了解大模型的基础知识以及大模型在各个行业的应用和分析学习理解大模型的核心原理、关键技术以及大模型应用场景。L2阶段攻坚篇丨RAG开发实战工坊L2阶段AI大模型RAG应用开发工程主要学习RAG检索增强生成包括Naive RAG、Advanced-RAG以及RAG性能评估还有GraphRAG在内的多个RAG热门项目的分析。L3阶段跃迁篇丨Agent智能体架构设计L3阶段大模型Agent应用架构进阶实现主要学习LangChain、 LIamaIndex框架也会学习到AutoGPT、 MetaGPT等多Agent系统打造Agent智能体。L4阶段精进篇丨模型微调与私有化部署L4阶段大模型的微调和私有化部署更加深入的探讨Transformer架构学习大模型的微调技术利用DeepSpeed、Lamam Factory等工具快速进行模型微调并通过Ollama、vLLM等推理部署框架实现模型的快速部署。L5阶段专题集丨特训篇 【录播课】四、资料领取全套内容免费抱走学 AI 不用再找第二份不管你是 0 基础想入门 AI 大模型还是有基础想冲刺大厂、了解行业趋势这份资料都能满足你现在只需按照提示操作就能免费领取扫码免费领取全部内容​2026 年想抓住 AI 大模型的风口别犹豫这份免费资料就是你的 “起跑线”