做家电家具回收用哪个网站好,网站创建需要多少钱,用wordpress建立专业网站视频教程,天元建设集团有限公司建设租赁分公司小白也能懂#xff1a;Nanbeige4.1-3B环境配置与基础对话实战教程 想自己动手搭建一个能聊天、能写代码、还能帮你分析问题的AI助手吗#xff1f;今天#xff0c;我们就来一步步搞定Nanbeige4.1-3B这个“小而美”的语言模型。别看它只有30亿参数#xff0c;但在推理和对话…小白也能懂Nanbeige4.1-3B环境配置与基础对话实战教程想自己动手搭建一个能聊天、能写代码、还能帮你分析问题的AI助手吗今天我们就来一步步搞定Nanbeige4.1-3B这个“小而美”的语言模型。别看它只有30亿参数但在推理和对话上的表现绝对能让你眼前一亮。这篇文章就是为你准备的哪怕你之前没接触过AI模型部署跟着做也能轻松跑起来。1. 准备工作认识你的新“伙伴”在开始敲代码之前我们先花两分钟了解一下Nanbeige4.1-3B到底是个什么模型以及我们需要准备些什么。简单来说Nanbeige4.1-3B是一个完全开源的中英文双语语言模型。它的核心特点可以用几个关键词概括3B参数体积小巧意味着对电脑配置要求相对友好更容易跑起来。8K上下文能记住和处理相当长的对话或文档内容。工具调用支持调用外部工具比如计算器、搜索API让它变得更“能干”。开源免费模型权重、技术报告全部公开你可以放心使用和研究。为了顺利运行它你需要确保电脑环境满足以下基本要求操作系统Linux如Ubuntu 20.04/22.04或 macOS。Windows用户可以通过WSL2来操作。Python版本需要在3.8或以上。GPU推荐如果你有NVIDIA显卡并且安装了CUDA 11.8或更高版本运行速度会快很多。没有GPU也能用CPU跑只是会慢一些。内存建议至少有16GB的系统内存RAM。存储空间下载模型大概需要6-7GB的硬盘空间。好了基础概念清楚了我们接下来就进入实战环节。2. 第一步搭建Python环境一个好的开始是成功的一半。我们先创建一个独立的Python环境避免和你电脑上其他项目的软件包“打架”。2.1 安装Miniconda如果还没安装Miniconda是一个轻量级的Python环境管理工具能让你轻松创建和管理多个独立的Python环境。打开你的终端Linux/macOS的Terminal或Windows的WSL终端执行以下命令来下载和安装Miniconda# 下载Miniconda安装脚本以Linux 64位为例 wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh # 运行安装脚本 bash Miniconda3-latest-Linux-x86_64.sh # 安装过程中一直按回车阅读协议输入‘yes’同意最后选择安装路径直接回车用默认路径即可。 # 安装完成后关闭并重新打开终端或者运行以下命令使conda命令生效 source ~/.bashrc安装完成后在终端输入conda --version如果显示版本号就说明安装成功了。2.2 创建专属的Nanbeige环境现在我们为Nanbeige模型创建一个干净、专属的Python环境。# 创建一个名为‘nanbeige’的新环境并指定Python版本为3.10 conda create -n nanbeige python3.10 # 激活这个环境 conda activate nanbeige激活后你会发现终端命令行的前缀变成了(nanbeige)这表示你已经在这个环境里了接下来安装的所有软件包都只在这个环境内有效。3. 第二步安装核心依赖包环境准备好了接下来安装运行模型必需的“零件”。核心就是PyTorch和Transformers这两个库。3.1 安装PyTorchPyTorch是深度学习的主力框架。请根据你是否有GPU选择对应的安装命令。如果你有NVIDIA GPU并且安装了CUDA# 这里以CUDA 11.8为例。请根据你系统实际的CUDA版本选择命令。 # 你可以通过运行 nvcc --version 或 nvidia-smi 来查看CUDA版本。 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118如果你没有GPU或者只想用CPU运行# 安装CPU版本的PyTorch pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu3.2 安装其他必要库接下来安装Hugging Face的Transformers库用于加载模型和Accelerate库用于优化模型加载。pip install transformers4.51.0 accelerate0.20.0至此最核心的依赖就安装完成了。你可以运行pip list查看已安装的包确认torch和transformers都在列表中。4. 第三步编写你的第一个对话程序理论说再多不如跑个代码看看效果。我们来写一个最简单的Python脚本让Nanbeige模型跟你打个招呼。在你的项目目录下比如~/nanbeige_demo创建一个新文件命名为first_chat.py。4.1 加载模型和分词器打开first_chat.py输入以下代码。这段代码的作用是把模型从硬盘“请”到内存里并准备好一个“翻译官”分词器负责把文字转换成模型能看懂的数字。import torch from transformers import AutoModelForCausalLM, AutoTokenizer # 指定模型存放的路径。这里假设你已经把模型下载到了这个目录。 # 如果你还没有模型文件下一节会告诉你怎么获取。 model_path “/root/ai-models/nanbeige/Nanbeige4___1-3B” print(“正在加载分词器...”) # 加载分词器 tokenizer AutoTokenizer.from_pretrained( model_path, trust_remote_codeTrue # 信任模型自带的代码 ) print(“正在加载模型...这可能需要一些时间请耐心等待”) # 加载模型。使用bfloat16精度可以节省显存device_map“auto”让程序自动分配GPU/CPU。 model AutoModelForCausalLM.from_pretrained( model_path, torch_dtypetorch.bfloat16, device_map“auto”, trust_remote_codeTrue ) print(“模型加载完成”)4.2 构建对话并生成回复模型加载好后我们就可以和它对话了。在刚才的代码后面继续添加# 1. 构建对话内容。我们使用一个列表来模拟多轮对话但目前只放一条用户消息。 messages [ {“role”: “user”, “content”: “你好请介绍一下你自己”} ] # 2. 使用分词器将对话内容转换成模型能理解的格式token IDs input_ids tokenizer.apply_chat_template( messages, return_tensors“pt” # 返回PyTorch张量 ).to(model.device) # 将数据放到模型所在的设备GPU或CPU上 # 3. 让模型生成回复 print(“\n模型正在思考...\n”) with torch.no_grad(): # 关闭梯度计算节省内存 outputs model.generate( input_ids, max_new_tokens512, # 最多生成512个新token约等于256-384个汉字 temperature0.6, # 控制随机性值越小输出越确定和保守值越大输出越有创意和随机。 top_p0.95, # 核采样参数只从概率累积和达到95%的词汇中采样保证多样性同时避免奇怪输出。 do_sampleTrue # 开启采样模式而不是每次都选概率最高的词 ) # 4. 将模型生成的数字token IDs解码回我们能看懂的文字 # 跳过输入部分input_ids只解码新生成的部分 response tokenizer.decode( outputs[0][len(input_ids[0]):], skip_special_tokensTrue # 跳过特殊的token如[PAD], [EOS]等 ) # 5. 打印模型的回复 print(“模型回复”) print(response) print(“-” * 50)4.3 运行你的程序保存first_chat.py文件然后在终端里运行它python first_chat.py第一次运行会花费一些时间因为程序需要从硬盘加载模型文件到内存。加载完成后你应该能看到模型对你“你好请介绍一下你自己”这个问题的回复。恭喜你你已经成功运行了Nanbeige4.1-3B模型并完成了第一次对话。5. 第四步探索更多对话玩法只会说“你好”可不够过瘾。我们来试试模型的其他能力比如让它写代码、解答问题或者进行创意写作。5.1 尝试不同的对话场景我们可以修改messages列表里的内容来测试模型在不同场景下的表现。创建一个新文件multi_chat.py把下面的代码放进去试试。import torch from transformers import AutoModelForCausalLM, AutoTokenizer model_path “/root/ai-models/nanbeige/Nanbeige4___1-3B” tokenizer AutoTokenizer.from_pretrained(model_path, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained( model_path, torch_dtypetorch.bfloat16, device_map“auto”, trust_remote_codeTrue ) # 定义几个不同的问题 test_prompts [ “写一个Python函数用来判断一个数是不是素数。”, “用简单的语言解释一下什么是区块链。”, “帮我写一首关于秋天和思念的五言绝句。”, “如果我想学习机器学习应该从哪里开始给我一个三步计划。” ] for i, prompt in enumerate(test_prompts): print(f“\n[测试 {i1}] 用户提问{prompt}”) print(“-” * 30) messages [{“role”: “user”, “content”: prompt}] input_ids tokenizer.apply_chat_template(messages, return_tensors“pt”).to(model.device) with torch.no_grad(): outputs model.generate( input_ids, max_new_tokens256, temperature0.7, top_p0.9, do_sampleTrue ) response tokenizer.decode(outputs[0][len(input_ids[0]):], skip_special_tokensTrue) print(f“模型回答\n{response}\n”)运行这个脚本你会看到模型如何应对编程、科普、文学和规划等不同类型的问题。5.2 调整生成参数获得不同风格的回复你可能注意到了在model.generate()函数里我们设置了temperature和top_p这些参数。它们就像是控制模型“性格”的旋钮temperature(温度默认0.6)值调低如0.2模型输出会更确定、更保守每次回答可能都差不多。值调高如1.0模型输出会更随机、更有创意但有时可能会“胡说八道”。建议对于需要准确答案的问答用0.2-0.5对于创意写作用0.7-1.0。top_p(核采样默认0.95)值调低如0.5模型只从最可能的一小部分词里选输出更集中。值调高如0.95或1.0模型选择的词范围更广输出更多样。建议通常和temperature配合使用保持0.8-0.95是个不错的范围。max_new_tokens(最大生成长度)控制模型一次最多生成多少新内容。设得太短可能回答不完整设得太长可能浪费计算资源并导致重复。建议简单问答设128-256复杂任务设512-1024。你可以修改这些参数重新运行对话看看模型的回答风格有什么变化。6. 第五步使用WebUI图形界面聊天一直对着黑乎乎的终端敲代码可能有点枯燥。Nanbeige项目还贴心地提供了一个基于Gradio的Web图形界面WebUI让你能像使用ChatGPT网页版一样和模型对话。6.1 启动WebUI服务根据项目文档WebUI的相关文件通常放在/root/nanbeige-webui/目录下。我们进入这个目录并启动服务。# 切换到WebUI目录 cd /root/nanbeige-webui # 运行启动脚本 ./start.sh如果一切正常你会看到类似下面的输出说明服务已经启动Running on local URL: http://0.0.0.0:78606.2 访问聊天界面打开你的网页浏览器比如Chrome或Firefox在地址栏输入http://你的服务器IP地址:7860如果你是在本地电脑上运行可以直接输入http://localhost:7860然后你就能看到一个简洁的聊天界面了在底部的输入框里打字点击发送就能和模型对话了。6.3 WebUI界面参数说明在WebUI的界面侧边栏你通常会看到几个可以调节的滑块它们对应着我们之前提到的生成参数参数名作用建议范围Temperature控制回答的随机性。调低更稳定调高更有创意。0.1 - 1.0Top-P控制选词范围。调低回答更聚焦调高更多样。0.5 - 1.0Max Tokens单次回复的最大长度。根据需求调整Repeat Penalty惩罚重复内容。值大于1.0可以降低重复。1.0 - 1.2你可以直接在网页上拖动这些滑块实时感受不同设置下模型回答的变化这比改代码再运行要方便多了。6.4 管理WebUI服务当你不想用的时候可以方便地停止服务。# 在WebUI目录下运行停止脚本 cd /root/nanbeige-webui ./stop.sh或者你也可以使用Supervisor这个进程管理工具来操作如果服务是用它管理的# 查看服务状态 supervisorctl status # 停止服务 supervisorctl stop nanbeige-webui # 启动服务 supervisorctl start nanbeige-webui # 重启服务 supervisorctl restart nanbeige-webui服务日志通常存放在/var/log/supervisor/目录下如果遇到问题可以去那里查看错误信息。7. 总结与后续探索跟着上面的步骤走一遍你应该已经成功搭建了Nanbeige4.1-3B的运行环境并通过命令行和网页两种方式和它进行了对话。我们来简单回顾一下关键点环境隔离是基础使用Conda创建独立环境能避免很多依赖冲突的麻烦。模型加载是核心通过transformers库的from_pretrained方法几行代码就能把模型请出来工作。对话生成有技巧temperature和top_p是两个最重要的“调音旋钮”多试试找到适合当前任务的设置。WebUI是捷径图形界面大大降低了使用门槛适合快速测试和演示。你现在已经掌握了和这个3B参数“小模型”交互的基本方法。它虽然体积不大但在逻辑推理、代码生成和日常对话上已经能提供相当不错的体验。你可以用它来辅助编程让它写一些简单的函数或脚本片段。学习答疑向它提问各种知识类问题。创意写作让它帮你生成文案、故事或诗歌草稿。测试想法快速验证一些自然语言处理相关的概念。当然这只是开始。如果你想更进一步比如如何获得模型文件你可以从Hugging Face Model Hub等开源平台搜索并下载Nanbeige4-3B相关的模型文件然后修改代码中的model_path指向你下载的本地路径。如何让它记住更长的对话尝试在生成时增加max_new_tokens并确保你的对话历史在messages列表里完整提供。如何整合到自己的应用里你可以将上面的代码封装成一个函数或类提供API接口就能让你的网站或应用拥有AI对话能力了。希望这篇教程能帮你轻松踏出第一步。动手试试感受一下开源AI模型的魅力吧获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。