域名备案查询系统工信部网页优化哪家公司做得好

张

张建站

2026/4/6 9:37:26

10分钟阅读

域名备案查询系统工信部,网页优化哪家公司做得好,福州企业宣传片制作公司,传媒大气的网站详细的 qwen:14b 小说专家微调操作手册#xff0c;基于 LoRA 高效微调#xff08;适合消费级显卡#xff09;#xff1a; 一、环境准备 # 1. 创建专用环境 conda create -n novel_qwen python3.10 -y conda activate novel_qwen# 2. 安装核心依赖#xff08;推荐 LLaMA-Fa…详细的 qwen:14b 小说专家微调操作手册基于LoRA 高效微调适合消费级显卡一、环境准备# 1. 创建专用环境conda create-nnovel_qwenpython3.10-yconda activate novel_qwen# 2. 安装核心依赖推荐 LLaMA-Factory最成熟pipinstalltorch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 pipinstallllamafactory[torch,metrics]# 3. 验证安装llamafactory-cli version二、准备小说训练数据数据格式JSONL创建novel_dataset.json每条包含 instruction写作要求、input题材/设定、output正文[{instruction:根据以下设定创作一段玄幻小说的开篇要求氛围神秘节奏紧凑,input:题材东方玄幻\n主角山村少年觉醒双生武魂\n场景月夜下的古老祭坛,output:血月高悬。\n\n青石村的少年跪在祖祠前的祭坛上额头抵着冰凉的玄武岩。十七年了他从未见过祖祠今夜这般模样——那些斑驳的图腾在月光下泛着血色的光仿佛有活物在其中游走。\n\n\林渊时辰到了。\长老的声音像是从地底传来。\n\n少年抬起头看见自己投在地上的影子正在分裂。左侧的影子化作龙形右侧的影子凝成剑意。双生武魂千年未见的双生武魂\n\n祭坛突然震动地底传来锁链崩断的轰鸣......},{instruction:续写以下都市异能小说的对话场景突出人物性格反差,input:场景咖啡厅\n人物A表面是普通大学生实则是S级异能者\暗影\\n人物B异能管理局调查员不知道A的真实身份\n情节B正在调查近期异能者失踪案无意中向A询问线索,output:苏晚搅动着手中的拿铁目光看似随意地扫过窗外。\n\n\所以同学你最近有没有见过什么...特别的人\对面的调查员陈默递过一张照片\比如这个人上周三在图书馆附近出现过。\\n\n苏晚瞥了眼照片。那是他三天前处理掉的B级通缉犯。\n\n\没见过。\他露出乖巧的学生式微笑手指却轻轻敲击着桌面——三下短两下长。这是暗影组织内部的暗号【猎物已清除无需后续】。\n\n陈默皱眉\你敲桌子的习惯很特别。\\n\n\备考压力大。\苏晚推了推眼镜\学长我下午还有课如果没有其他问题...\\n\n他起身时陈默的异能探测器突然发出刺耳的蜂鸣。S级警报但只是一瞬间。\n\n\设备故障了\陈默困惑地拍打着探测器。\n\n苏晚背对着他嘴角微扬\可能是信号不好吧。学长下次换个好点的设备。\}]数据规模建议短篇小说500-2000 条样本长篇小说3000-10000 条样本按章节切分三、配置文件关键创建novel_lora.yaml# 模型路径model_name_or_path:qwen:14b# 或本地路径 ~/.ollama/models/qwen:14b# 微调方法finetuning_type:loralora_target:all# Qwen建议all或指定 q_proj,v_proj,k_proj,o_proj,gate_proj,up_proj,down_projlora_rank:16# 小说生成建议16-64越大拟合能力越强lora_alpha:32# 通常 2*ranklora_dropout:0.05# 数据配置dataset_dir:.dataset:novel_dataset# 对应 novel_dataset.jsontemplate:qwen# Qwen官方模板cutoff_len:2048# 小说长文本可设4096需更多显存max_samples:10000# 训练参数output_dir:./qwen_novel_expertper_device_train_batch_size:1# 14B模型单卡通常只能跑batch1gradient_accumulation_steps:8# 累积8步模拟batch8num_train_epochs:3# 小说建议3-5轮learning_rate:5.0e-5# LoRA可用较大学习率warmup_ratio:0.1lr_scheduler_type:cosine# 优化器optim:adamw_torchfp16:true# V100/RX系列用fp16RTX30/40用bf16# 日志保存logging_steps:10save_steps:100plot_loss:true# 特殊配置小说生成关键neat_packing:true# 打包短样本提高效率overwrite_cache:truepreprocessing_num_workers:16四、启动训练# 方式1命令行启动llamafactory-cli train novel_lora.yaml# 方式2Web UI推荐可视化监控llamafactory-cli webui# 然后在浏览器里导入 novel_lora.yaml 点击训练显存需求参考14B LoRA(r16) batch1 fp16约 18-22GB 显存RTX 4090 24GB 刚好如果爆显存减小cutoff_len到 1024或减小lora_rank到 8五、模型合并与导出训练完成后将 LoRA 权重合并到基础模型llamafactory-cliexport\--model_name_or_pathqwen:14b\--adapter_name_or_path./qwen_novel_expert\--templateqwen\--finetuning_typelora\--export_dir./qwen_novel_merged\--export_size2\--export_devicecpu\--export_legacy_formatfalse六、导入 Ollama 使用1. 创建 ModelfileFROM ./qwen_novel_merged TEMPLATE {{ if .System }}|im_start|system 你是资深网络小说作家墨言擅长 - 玄幻/都市/言情多题材创作 - 节奏把控黄金三章、爽点埋设、悬念设置 - 人物塑造立体人设、性格反差、成长弧线 - 场景描写五感沉浸、氛围渲染、画面感强写作原则爽文不小白虐文有逻辑甜文不油腻。|im_end| {{ end }}{{ if .Prompt }}|im_start|user {{ .Prompt }}|im_end| {{ end }}|im_start|assistant PARAMETER temperature 0.8 PARAMETER num_ctx 4096 # 小说需要长上下文 PARAMETER repeat_penalty 1.1 # 防止重复 PARAMETER top_p 0.9 PARAMETER top_k 50 SYSTEM 你是资深网络小说作家墨言...同上2. 创建并运行# 创建模型ollama create qwen-novel-f./Modelfile# 运行测试ollama run qwen-novel帮我写一个关于程序员穿越到修仙世界用代码写符咒的开篇3000字要有反差萌和硬核技术细节七、进阶优化技巧1.分层学习率如果显存够在novel_lora.yaml中添加# 让输出层lm_head学习率更高更容易学会小说风格# 需在代码中自定义或使用 transformers Trainer 的 layer-wise lr_decay2.增量训练策略第一轮训练后如果效果不够# 基于上一轮继续训练热启动llamafactory-cli train\novel_lora.yaml\--resume_from_checkpoint./qwen_novel_expert/checkpoint-5003.数据增强技巧风格迁移用 ChatGPT/Claude 将你的小说数据改写成金庸/猫腻/天蚕土豆等不同风格扩充多样性指令多样化同一情节用写一段“续写”“改写得更虐”增加环境描写等不同指令包装八、效果验证指标运行测试集评估llamafactory-clieval\--model_name_or_pathqwen_novel_merged\--eval_datasetnovel_eval\--templateqwen人工验证清单是否保持人物一致性同一角色性格不突变场景切换是否自然转场不生硬悬念设置是否合理埋坑有解语言风格是否符合题材古偶不现代都市不文言每章是否有钩子让人想点下一章九、常见问题解决问题原因解决输出重复训练数据有重复段落增加repeat_penalty参数或清洗数据去重风格不稳定训练轮数太少或学习率太高增至5轮或降低 lr 到 2e-5显存溢出cutoff_len 太长减至 1024或使用 gradient_checkpointing生成太慢合并后的模型太大使用量化版本int4导出完整工作流总结准备 500-2000 条高质量小说样本JSONLLLaMA-Factory LoRA 微调rank163轮合并权重 → Ollama 部署用 System Prompt 固化作家人设这样你的 qwen:14b 就能变成墨言——一个懂网文套路、会控制节奏、能写长文的专用作家 AI。