网站的不足之处富邦建设控股集团网站

张

张建站

2026/4/9 15:34:01

10分钟阅读

网站的不足之处,富邦建设控股集团网站,wordpress女性代码下载,个人注册公司多少钱Phi-3-Mini-128K保姆级教程#xff1a;WSL2ROCm 6.1在AMD RX 7900XTX上部署实录想在自己的AMD显卡上体验微软最新的小钢炮模型Phi-3-Mini-128K#xff0c;却卡在了环境配置上#xff1f;别担心#xff0c;这篇教程就是为你准备的。我将手把手带你#xff0c;在Windows系…Phi-3-Mini-128K保姆级教程WSL2ROCm 6.1在AMD RX 7900XTX上部署实录想在自己的AMD显卡上体验微软最新的小钢炮模型Phi-3-Mini-128K却卡在了环境配置上别担心这篇教程就是为你准备的。我将手把手带你在Windows系统下的WSL2环境中用ROCm 6.1驱动AMD RX 7900XTX显卡成功部署并运行这个支持128K超长对话的轻量级模型。整个过程就像搭积木我们一步一步来。只要你跟着做大概一个多小时就能在本地和Phi-3愉快聊天了。教程里每一步都有详细的命令和截图遇到问题也别慌常见的坑我都帮你踩过了。1. 为什么选择这个组合在开始动手之前我们先花两分钟搞清楚为什么要用WSL2 ROCm这套方案以及Phi-3-Mini-128K到底有什么魅力。1.1 WSL2 ROCmAMD显卡在Windows下的最佳拍档如果你用的是AMD显卡比如我手边的RX 7900XTX想在Windows上跑AI模型以前确实有点麻烦。官方对Windows的PyTorch ROCm支持一直不如Linux完善。但WSL2Windows Subsystem for Linux改变了这一点。简单说WSL2让你在Windows里无缝运行一个完整的Linux系统。我们就在这个Linux环境里安装ROCmAMD的GPU计算平台这样就能绕过Windows的直接支持问题让AMD显卡在熟悉的Linux环境下全力工作。这几乎是目前Windows用户使用AMD显卡进行AI开发最稳定、最主流的方式。1.2 Phi-3-Mini-128K小而强大的对话专家Phi-3-Mini是微软Phi-3家族中的“小个子”但能力一点也不弱。128K超长上下文这意味着它能记住并处理非常长的对话或文档。你可以丢给它一篇长文章让它总结或者进行几十轮的连续聊天它都不会忘记开头说了什么。指令微调Instruct这个版本专门针对对话和问答进行了优化你直接用自然语言下指令它就能很好地理解和执行比如“写一首关于春天的诗”或者“解释一下量子计算”。轻量高效模型参数约38亿相比动辄上百亿的大模型它对硬件友好得多。经过优化后像RX 7900XTX这样的消费级显卡就能流畅运行显存占用大概在7-8GB。纯本地运行所有计算都在你的电脑上完成对话内容不会上传到任何服务器隐私性有保障。接下来我们就进入正题看看怎么把这套环境搭起来。2. 基础环境搭建WSL2与Ubuntu我们的第一步是在Windows上建立一个Linux工作间。请确保你的Windows 10版本在2004以上或者使用的是Windows 11。2.1 启用WSL2并安装Ubuntu以管理员身份打开Windows PowerShell。在开始菜单搜索“PowerShell”右键选择“以管理员身份运行”。一次性输入并执行以下命令这会启用必要的Windows功能并设置WSL2为默认版本。wsl --install这个命令会自动完成很多事情启用“适用于Linux的Windows子系统”和“虚拟机平台”功能下载并安装默认的Linux发行版通常是Ubuntu然后重启电脑。电脑重启后系统可能会自动打开一个Ubuntu终端窗口进行初始设置。如果没有你可以在开始菜单找到新安装的“Ubuntu”应用并打开。在Ubuntu终端里按照提示创建一个新的Unix用户名和密码。这个密码在后续使用sudo命令时会用到请牢记。2.2 更新Ubuntu系统安装好Ubuntu后第一件事就是更新软件包列表和升级现有软件确保我们有一个干净、最新的起点。在Ubuntu终端中执行sudo apt update sudo apt upgrade -y这个过程可能会花几分钟取决于你的网速。3. ROCm 6.1驱动安装与配置这是最关键的一步我们要让Ubuntu系统识别并使用你的AMD显卡。3.1 添加ROCm官方仓库并安装AMD为ROCm维护了官方的软件仓库我们直接从这里安装是最稳妥的。下载并添加ROCm的APT仓库密钥。wget https://repo.radeon.com/rocm/rocm.gpg.key -O - | sudo gpg --dearmor | sudo tee /etc/apt/trusted.gpg.d/rocm.gpg /dev/null将ROCm仓库源添加到系统的软件源列表。echo deb [archamd64] https://repo.radeon.com/rocm/apt/6.1 jammy main | sudo tee /etc/apt/sources.list.d/rocm.list注意这里的jammy对应Ubuntu 22.04 LTS的代号。如果你安装的是其他版本可能需要调整。再次更新软件包列表并安装ROCm的核心包。sudo apt update sudo apt install rocm-hip-sdk rocm-dev -y3.2 配置用户组与验证安装为了让普通用户也能使用GPU我们需要将当前用户添加到render和video组。添加用户到必要组并更新组信息。sudo usermod -a -G render,video $USER newgrp render newgrp video非常重要重启WSL2。在Windows PowerShell不是Ubuntu终端中运行wsl --shutdown等待几秒钟后重新打开Ubuntu应用。这会使组权限生效。验证ROCm是否安装成功。在Ubuntu终端中运行rocminfo如果安装成功你会看到一大段输出其中包含你的GPU信息比如“gfx1100”代表RX 7900系列。再运行一个更简单的检查rocm-smi这个命令会显示一个类似nvidia-smi的界面列出GPU的利用率、温度、显存占用等信息。看到你的显卡信息就说明驱动层没问题了。4. Python环境与PyTorch安装模型运行需要Python和适配ROCm的PyTorch。4.1 安装Miniconda推荐使用Conda可以方便地管理不同的Python环境避免包冲突。我们安装轻量版的Miniconda。下载Miniconda安装脚本。wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh运行安装脚本。bash Miniconda3-latest-Linux-x86_64.sh安装过程中一直按回车阅读许可协议输入yes同意然后建议将Conda安装到默认路径。最后一步询问“Do you wish to update your shell profile to initialize conda?”时一定要选择yes这样每次打开终端Conda才会自动激活。关闭并重新打开Ubuntu终端你会发现命令行前面多了一个(base)这表示Conda的基础环境已经激活。4.2 创建专用环境并安装PyTorch我们为Phi-3项目创建一个独立的环境。创建一个名为phi3的Python 3.10环境。conda create -n phi3 python3.10 -y激活这个环境。conda activate phi3激活后提示符会从(base)变成(phi3)。安装支持ROCm的PyTorch。这是最关键的一步必须从PyTorch官方获取正确的安装命令。访问 PyTorch官网。选择PyTorch Build:Stable (2.3.1) Your OS:Linux Package:Conda Language:Python Compute Platform:ROCm 6.1。网站会生成一个安装命令类似下面这样版本号请以官网实时为准conda install pytorch torchvision torchaudio pytorch-cuda12.1 -c pytorch -c nvidia注意这个命令是针对CUDA的我们不能直接用。ROCm的安装通常是通过pip。根据官网和社区经验在ROCm 6.1下更稳定的安装方式是使用pip安装预编译的wheel包。使用pip安装PyTorch。在(phi3)环境中运行pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm6.1这个命令会从PyTorch为ROCm 6.1准备的专用地址下载安装包。验证PyTorch是否能识别GPU。在Python交互环境中测试python -c import torch; print(fPyTorch版本: {torch.__version__}); print(f是否可用ROCm: {torch.cuda.is_available()}); print(f设备名称: {torch.cuda.get_device_name(0) if torch.cuda.is_available() else \无GPU\})如果一切顺利你将看到类似以下的输出表明PyTorch已经成功调用你的AMD RX 7900XTX。PyTorch版本: 2.3.1rocm6.1 是否可用ROCm: True 设备名称: AMD Radeon RX 7900 XTX5. 部署Phi-3-Mini-128K对话工具环境准备就绪现在可以请出今天的主角了。5.1 下载项目代码与安装依赖我们将使用一个封装好的对话工具它简化了模型加载和交互流程。克隆项目仓库这里假设一个示例仓库实际请替换为正确的项目地址。git clone https://github.com/username/phi3-mini-128k-chat.git cd phi3-mini-128k-chat注请将username和仓库名替换为实际可用的项目地址。一个常见的来源是Hugging Face模型库或GitHub上的相关开源项目。安装项目所需的Python依赖。通常项目根目录会有一个requirements.txt文件。pip install -r requirements.txt主要依赖会包括transformers,accelerate,sentencepiece,protobuf,streamlit等。accelerate库能帮助自动分配模型层到GPU和CPU对管理显存非常有用。5.2 运行对话工具这个工具通常用一个Python脚本启动一个本地的Web界面。启动Streamlit应用。启动命令通常类似这样streamlit run app.py注app.py是主程序文件名请根据实际项目文件调整。等待模型加载。启动后终端会输出日志。最关键的一步是工具会自动从Hugging Face下载microsoft/Phi-3-mini-128k-instruct模型。这是第一次运行最耗时的步骤模型大约8GB下载速度取决于你的网络。下载完成后模型会被加载到显卡显存中。访问Web界面。Streamlit会在终端输出一个本地网络地址通常是http://localhost:8501。在你的Windows浏览器中直接打开这个地址。6. 开始与Phi-3对话打开浏览器界面后你会看到一个简洁的、类似ChatGPT的聊天窗口。等待初始化页面可能会显示“正在把 Phi-3 装载进显卡...”。稍等片刻几十秒加载成功后会有提示。发起对话在底部的输入框里用自然语言输入你的问题。比如“用Python写一个简单的冒泡排序算法。”“给我讲一个关于人工智能的幽默短故事。”“解释一下太阳系行星的运行规律。” 按下回车或点击发送按钮。查看回复模型会开始“思考”界面显示加载状态。很快它就会在对话区域生成回复。回复格式通常很规整代码还会有高亮。多轮对话这才是体验128K上下文的精髓。接着问“刚才代码里的时间复杂度是多少”或者“把这个故事的主角换成一只猫。” 模型会结合之前的聊天历史来回答上下文连贯性很好。6.1 使用技巧与注意事项显存查看在另一个Ubuntu终端标签页运行rocm-smi可以看到模型加载后GPU显存的占用情况约7-8GB。中断生成如果模型生成时间过长界面上通常有“停止”按钮可以中断。清除历史想开始一个新话题可以点击“清除对话”按钮。性能在RX 7900XTX上生成速度相当快体验流畅。如果你的问题非常复杂或很长生成时间会相应增加。7. 总结回顾一下我们完成了从零开始在Windows WSL2的Ubuntu环境中配置ROCm 6.1驱动最终在AMD RX 7900XTX显卡上成功部署并运行Phi-3-Mini-128K对话模型的完整过程。这套方案的优势在于它让Windows用户也能充分利用AMD显卡的算力运行当前最热门的轻量级大语言模型。Phi-3-Mini-128K在38亿参数级别上提供了出色的推理和对话能力加上128K的超长上下文无论是用于学习、编程辅助还是日常创意对话都是一个非常实用的本地工具。你可能会遇到的绝大部分问题都集中在ROCm驱动安装和PyTorch with ROCm的安装这两个环节。只要严格按照步骤并注意使用正确的安装源和命令就能顺利过关。现在享受你的本地AI对话助手吧获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。