网站建设丶金手指下拉14尊园地产做的网站

张

张建站

2026/5/4 13:00:19

10分钟阅读

网站建设丶金手指下拉14,尊园地产做的网站,哈尔滨品牌设计,李连杰做的功夫网站ChatGLM3-6B入门指南#xff1a;如何在Windows WSL2中部署本地大模型系统想快速在本地电脑上搭建一个完全私有的智能对话系统#xff1f;本文将手把手教你如何在Windows WSL2环境中部署ChatGLM3-6B大模型#xff0c;无需担心网络延迟和数据隐私问题。 1. 环境准备与系统要求…ChatGLM3-6B入门指南如何在Windows WSL2中部署本地大模型系统想快速在本地电脑上搭建一个完全私有的智能对话系统本文将手把手教你如何在Windows WSL2环境中部署ChatGLM3-6B大模型无需担心网络延迟和数据隐私问题。1. 环境准备与系统要求在开始部署之前请确保你的电脑满足以下基本要求硬件要求显卡推荐NVIDIA RTX 3060及以上显存至少8GBRTX 4090D效果最佳内存建议16GB以上存储至少20GB可用空间用于模型文件和系统环境软件要求Windows 10或11系统版本2004及以上WSL2已启用并配置NVIDIA显卡驱动最新版本CUDA Toolkit 11.7或以上验证WSL2环境打开PowerShell或命令提示符输入以下命令检查WSL状态wsl --list --verbose如果显示你安装的Linux发行版且版本为2说明WSL2已正确配置。2. WSL2环境配置步骤2.1 安装Ubuntu子系统如果你还没有安装WSL2按以下步骤操作以管理员身份打开PowerShell运行以下命令启用WSL功能dism.exe /online /enable-feature /featurename:Microsoft-Windows-Subsystem-Linux /all /norestart dism.exe /online /enable-feature /featurename:VirtualMachinePlatform /all /norestart重启电脑设置WSL2为默认版本wsl --set-default-version 2从Microsoft Store安装Ubuntu 20.04或22.042.2 配置CUDA和PyTorch环境在Ubuntu子系统中依次执行以下命令# 更新系统包 sudo apt update sudo apt upgrade -y # 安装基础依赖 sudo apt install -y python3-pip python3-venv git wget # 创建专用环境目录 mkdir ~/chatglm3 cd ~/chatglm3 # 创建Python虚拟环境 python3 -m venv chatglm_env source chatglm_env/bin/activate # 安装PyTorch和CUDA支持 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu1183. 部署ChatGLM3-6B模型3.1 下载模型和代码在配置好的环境中继续操作# 克隆项目代码 git clone https://github.com/THUDM/ChatGLM3-6B.git cd ChatGLM3-6B # 安装特定版本的依赖包关键步骤 pip install transformers4.40.2 streamlit # 下载模型文件可选择以下方式之一 # 方式1从Hugging Face下载需要网络连接 git lfs install git clone https://huggingface.co/THUDM/chatglm3-6b-32k # 方式2使用下载好的模型文件如果已有 # 将模型文件放到chatglm3-6b-32k目录下3.2 配置Streamlit应用创建配置文件并设置模型路径# 创建配置文件 cat config.yaml EOF model_path: ./chatglm3-6b-32k device: cuda streamlit: port: 8501 host: 0.0.0.0 EOF创建启动脚本# 创建启动脚本 cat start_chatglm.py EOF import streamlit as st from transformers import AutoModel, AutoTokenizer import torch st.cache_resource def load_model(): tokenizer AutoTokenizer.from_pretrained(./chatglm3-6b-32k, trust_remote_codeTrue) model AutoModel.from_pretrained(./chatglm3-6b-32k, trust_remote_codeTrue).cuda() model model.eval() return model, tokenizer model, tokenizer load_model() st.title(ChatGLM3-6B 本地智能助手) st.write(欢迎使用完全本地部署的智能对话系统) if messages not in st.session_state: st.session_state.messages [] for message in st.session_state.messages: with st.chat_message(message[role]): st.markdown(message[content]) if prompt : st.chat_input(请输入您的问题...): st.session_state.messages.append({role: user, content: prompt}) with st.chat_message(user): st.markdown(prompt) with st.chat_message(assistant): message_placeholder st.empty() full_response for response, _ in model.stream_chat(tokenizer, prompt, historyst.session_state.messages): full_response response message_placeholder.markdown(full_response ▌) message_placeholder.markdown(full_response) st.session_state.messages.append({role: assistant, content: full_response}) EOF4. 启动和使用系统4.1 启动ChatGLM3服务在项目目录下运行以下命令# 激活虚拟环境 source ~/chatglm3/chatglm_env/bin/activate # 切换到项目目录 cd ~/chatglm3/ChatGLM3-6B # 启动Streamlit应用 streamlit run start_chatglm.py4.2 访问聊天界面启动成功后你会看到类似下面的输出You can now view your Streamlit app in your browser. Local URL: http://localhost:8501 Network URL: http://192.168.x.x:8501现在你可以在Windows浏览器中访问http://localhost:8501来使用聊天界面。4.3 开始对话体验在聊天界面中你可以直接提问输入任何问题如解释一下机器学习的基本概念多轮对话系统会自动记住之前的对话上下文代码相关询问编程问题如用Python写一个快速排序算法长文处理粘贴长篇文章让其总结或分析5. 常见问题解决5.1 显存不足问题如果遇到显存不足的错误可以尝试以下解决方案# 修改模型加载方式使用量化版本 pip install bitsandbytes然后修改启动脚本中的模型加载代码# 修改为使用8位量化 model AutoModel.from_pretrained( ./chatglm3-6b-32k, trust_remote_codeTrue, load_in_8bitTrue, # 添加这行 device_mapauto ).cuda()5.2 端口冲突问题如果8501端口被占用可以指定其他端口streamlit run start_chatglm.py --server.port 85025.3 模型加载慢问题首次加载模型可能需要较长时间5-15分钟取决于硬件后续使用时会保持加载状态刷新页面无需重新加载。6. 使用技巧和最佳实践6.1 优化对话体验明确问题提问时尽量具体明确避免模糊表述分步询问复杂问题可以拆分成多个简单问题提供上下文对于连续性问题可以引用之前的对话内容6.2 性能调优建议如果你有足够的硬件资源可以进一步优化性能# 安装flash-attention加速可选 pip install flash-attn --no-build-isolation在模型加载时添加参数model AutoModel.from_pretrained( ./chatglm3-6b-32k, trust_remote_codeTrue, use_flash_attention_2True, # 启用flash attention device_mapauto )6.3 系统维护提示定期更新关注项目GitHub页面获取更新备份模型模型文件较大建议备份到外部存储监控资源使用nvidia-smi监控GPU使用情况7. 总结通过本指南你已经成功在Windows WSL2环境中部署了ChatGLM3-6B本地大模型系统。这个完全私有的智能对话系统具有以下优势核心优势数据完全本地处理无需担心隐私泄露响应速度快无需网络延迟支持32k长上下文处理复杂任务能力强系统稳定避免了版本冲突问题适用场景个人学习和研究企业内部知识问答系统代码编写和调试助手长文档分析和总结现在你可以开始探索本地大模型的强大能力了。尝试问它各种问题从日常知识问答到专业领域咨询这个本地部署的智能助手都能为你提供快速、准确的回应。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。