诸城做网站的建站工具哪个最好

张

张建站

2026/4/9 7:25:46

10分钟阅读

诸城做网站的,建站工具哪个最好,软文推广营销服务平台,小县城做网站Qwen3-VL-8B部署教程#xff1a;CentOS 7系统下Python3.9GCC11编译vLLM环境 1. 引言想在自己的服务器上搭建一个功能完整的AI聊天系统吗#xff1f;今天#xff0c;我们就来手把手教你如何在CentOS 7系统上#xff0c;从零开始部署Qwen3-VL-8B AI聊天系统。这个系统可…Qwen3-VL-8B部署教程CentOS 7系统下Python3.9GCC11编译vLLM环境1. 引言想在自己的服务器上搭建一个功能完整的AI聊天系统吗今天我们就来手把手教你如何在CentOS 7系统上从零开始部署Qwen3-VL-8B AI聊天系统。这个系统可不是简单的命令行工具而是一个包含现代化Web界面、智能代理服务器和高性能推理后端的完整解决方案。想象一下你只需要一个浏览器就能像使用ChatGPT一样与强大的视觉语言模型对话而且所有数据都在你自己的服务器上安全又可控。为什么选择这个方案一体化部署前端、代理、推理引擎全部打包开箱即用性能强劲基于vLLM推理引擎充分利用GPU加速界面友好专为PC端优化的全屏聊天界面操作流畅灵活访问支持本地、局域网甚至远程隧道访问在开始之前我们先看看系统架构让你对整个部署有个清晰的认识┌─────────────┐ │ 浏览器客户端 │ │ (chat.html) │ └──────┬──────┘ │ HTTP ↓ ┌─────────────────┐ │ 代理服务器 │ │ (proxy_server) │ ← 端口 8000 │ - 静态文件服务 │ │ - API 请求转发 │ └──────┬──────────┘ │ HTTP ↓ ┌─────────────────┐ │ vLLM 推理引擎 │ ← 端口 3001 │ - 模型加载 │ │ - 推理计算 │ │ - OpenAI API │ └─────────────────┘整个教程分为几个部分环境准备、依赖安装、vLLM编译、系统部署和问题排查。即使你是Linux新手跟着步骤一步步来也能顺利完成部署。2. 环境准备与系统检查2.1 系统要求确认在开始安装之前我们先确认一下你的CentOS 7系统是否符合要求# 查看系统版本 cat /etc/redhat-release # 查看CPU架构 uname -m # 查看内存大小 free -h # 查看磁盘空间至少需要20GB可用空间 df -h最低配置要求操作系统CentOS 7.6及以上版本CPUx86_64架构4核以上内存16GB以上推荐32GB磁盘空间至少20GB可用空间GPUNVIDIA GPU8GB以上显存RTX 3070/3080或同等性能网络稳定的网络连接用于下载模型和依赖包2.2 基础软件更新CentOS 7默认的软件版本比较旧我们需要先更新基础软件# 更新系统软件包 sudo yum update -y # 安装基础开发工具 sudo yum groupinstall Development Tools -y # 安装必要的依赖库 sudo yum install -y epel-release sudo yum install -y wget curl git vim cmake make gcc-c openssl-devel bzip2-devel libffi-devel sqlite-devel2.3 Python 3.9安装CentOS 7默认的Python版本是2.7我们需要手动安装Python 3.9# 下载Python 3.9源码 cd /tmp wget https://www.python.org/ftp/python/3.9.18/Python-3.9.18.tgz tar -xzf Python-3.9.18.tgz cd Python-3.9.18 # 配置编译选项 ./configure --enable-optimizations --with-ssl # 编译安装这步需要一些时间大概10-20分钟 make -j$(nproc) sudo make altinstall # 验证安装 python3.9 --version pip3.9 --version为什么用altinstall而不是installaltinstall不会覆盖系统自带的Python 2.7可以同时保留多个Python版本通过python3.9命令明确指定版本2.4 GCC 11编译安装vLLM需要较新的GCC版本CentOS 7默认的GCC 4.8太旧了我们需要手动安装GCC 11# 安装GCC 11的依赖 sudo yum install -y centos-release-scl sudo yum install -y devtoolset-11-gcc devtoolset-11-gcc-c devtoolset-11-binutils # 设置环境变量让当前会话使用GCC 11 source /opt/rh/devtoolset-11/enable # 验证GCC版本 gcc --version g --version为了让每次登录都自动使用GCC 11我们可以添加到bash配置中# 添加到~/.bashrc echo source /opt/rh/devtoolset-11/enable ~/.bashrc source ~/.bashrc3. CUDA与GPU环境配置3.1 NVIDIA驱动安装首先检查你的GPU是否被系统识别# 查看是否有NVIDIA GPU lspci | grep -i nvidia # 如果能看到NVIDIA显卡信息继续下一步 # 如果没有可能需要先安装NVIDIA驱动安装NVIDIA驱动如果需要# 添加ELRepo仓库 sudo rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org sudo rpm -Uvh https://www.elrepo.org/elrepo-release-7.el7.elrepo.noarch.rpm # 安装NVIDIA驱动 sudo yum install -y kmod-nvidia # 重启系统 sudo reboot重启后验证驱动安装# 检查驱动版本 nvidia-smi # 应该能看到类似这样的输出 # ----------------------------------------------------------------------------- # | NVIDIA-SMI 525.147.05 Driver Version: 525.147.05 CUDA Version: 12.0 | # |--------------------------------------------------------------------------- # | GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC | # | Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. | # | | | MIG M. | # || # | 0 NVIDIA GeForce ... Off| 00000000:01:00.0 Off | N/A | # | N/A 45C P8 10W / N/A| 0MiB / 8192MiB | 0% Default | # | | | N/A | # ---------------------------------------------------------------------------3.2 CUDA Toolkit安装vLLM需要CUDA环境我们安装CUDA 11.8与vLLM兼容性较好# 下载CUDA 11.8安装包 wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda_11.8.0_520.61.05_linux.run # 给安装文件添加执行权限 chmod x cuda_11.8.0_520.61.05_linux.run # 运行安装程序选择不安装驱动因为我们已安装 sudo ./cuda_11.8.0_520.61.05_linux.run --toolkit --silent --override # 设置环境变量 echo export PATH/usr/local/cuda-11.8/bin:$PATH ~/.bashrc echo export LD_LIBRARY_PATH/usr/local/cuda-11.8/lib64:$LD_LIBRARY_PATH ~/.bashrc source ~/.bashrc # 验证CUDA安装 nvcc --version3.3 cuDNN安装cuDNN是NVIDIA的深度神经网络库能显著提升推理性能# 需要先注册NVIDIA开发者账号下载cuDNN # 下载后上传到服务器然后解压安装 # 假设你已经下载了cudnn-linux-x86_64-8.9.4.25_cuda11-archive.tar.xz tar -xvf cudnn-linux-x86_64-8.9.4.25_cuda11-archive.tar.xz # 复制文件到CUDA目录 sudo cp cudnn-*-archive/include/cudnn*.h /usr/local/cuda-11.8/include sudo cp -P cudnn-*-archive/lib/libcudnn* /usr/local/cuda-11.8/lib64 sudo chmod ar /usr/local/cuda-11.8/include/cudnn*.h /usr/local/cuda-11.8/lib64/libcudnn* # 验证cuDNN安装 cat /usr/local/cuda-11.8/include/cudnn_version.h | grep CUDNN_MAJOR -A 24. vLLM编译与安装4.1 创建Python虚拟环境为了避免依赖冲突我们为vLLM创建独立的Python环境# 安装virtualenv pip3.9 install virtualenv # 创建虚拟环境 cd ~ python3.9 -m venv vllm-env # 激活虚拟环境 source ~/vllm-env/bin/activate # 验证环境 python --version # 应该显示Python 3.9.18 pip --version4.2 安装PyTorch与依赖vLLM依赖特定版本的PyTorch我们需要先安装# 升级pip pip install --upgrade pip # 安装PyTorchCUDA 11.8版本 pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118 # 验证PyTorch是否能识别GPU python -c import torch; print(fPyTorch版本: {torch.__version__}); print(fCUDA可用: {torch.cuda.is_available()}); print(fGPU数量: {torch.cuda.device_count()})如果输出显示CUDA可用且GPU数量大于0说明PyTorch安装成功。4.3 编译安装vLLM这是最关键的一步我们需要从源码编译vLLM# 克隆vLLM仓库 cd ~ git clone https://github.com/vllm-project/vllm.git cd vllm # 切换到稳定版本以v0.3.3为例 git checkout v0.3.3 # 安装编译依赖 pip install -U pip setuptools wheel pip install ninja # 安装运行时依赖 pip install -r requirements.txt # 编译安装vLLM这步需要一些时间 pip install -e . # 或者使用预编译版本如果编译失败 # pip install vllm编译常见问题解决如果编译过程中遇到问题可以尝试以下方法# 1. 确保GCC 11已正确设置 gcc --version # 应该显示gcc 11.x # 2. 清理缓存重新编译 pip cache purge rm -rf build/ pip install -e . --no-cache-dir # 3. 如果内存不足可以设置交换空间 sudo fallocate -l 8G /swapfile sudo chmod 600 /swapfile sudo mkswap /swapfile sudo swapon /swapfile4.4 验证vLLM安装安装完成后验证vLLM是否能正常工作# 测试vLLM导入 python -c import vllm; print(vLLM导入成功) # 测试简单推理使用小模型 python -c from vllm import LLM, SamplingParams # 使用小模型测试 prompts [Hello, my name is] sampling_params SamplingParams(temperature0.8, top_p0.95) # 注意这里只是测试导入实际运行需要GPU和模型 print(vLLM基础功能测试通过) 5. Qwen3-VL-8B聊天系统部署5.1 下载项目文件现在我们来部署完整的聊天系统# 创建项目目录 cd ~ mkdir -p build cd build # 下载项目文件假设你已经有了项目文件 # 这里我们创建基本的文件结构 cat chat.html EOF !DOCTYPE html html langzh-CN head meta charsetUTF-8 meta nameviewport contentwidthdevice-width, initial-scale1.0 titleQwen3-VL-8B 聊天系统/title style /* 这里省略CSS样式实际项目中需要完整的样式 */ /style /head body div idapp !-- 聊天界面 -- /div script // 聊天逻辑JavaScript /script /body /html EOF # 创建代理服务器 cat proxy_server.py EOF #!/usr/bin/env python3 import http.server import socketserver import requests import json import logging from http import HTTPStatus from urllib.parse import urlparse # 配置参数 VLLM_HOST localhost VLLM_PORT 3001 WEB_PORT 8000 VLLM_URL fhttp://{VLLM_HOST}:{VLLM_PORT} class ProxyHandler(http.server.SimpleHTTPRequestHandler): def do_GET(self): # 处理静态文件请求 if self.path / or self.path /chat.html: self.path /chat.html return http.server.SimpleHTTPRequestHandler.do_GET(self) elif self.path.endswith(.js) or self.path.endswith(.css): return http.server.SimpleHTTPRequestHandler.do_GET(self) else: self.send_error(HTTPStatus.NOT_FOUND, File not found) def do_POST(self): # 转发API请求到vLLM if self.path.startswith(/v1/): content_length int(self.headers[Content-Length]) post_data self.rfile.read(content_length) try: # 转发请求到vLLM vllm_response requests.post( f{VLLM_URL}{self.path}, datapost_data, headers{Content-Type: application/json}, timeout30 ) # 返回vLLM的响应 self.send_response(vllm_response.status_code) self.send_header(Content-Type, application/json) self.send_header(Access-Control-Allow-Origin, *) self.end_headers() self.wfile.write(vllm_response.content) except Exception as e: self.send_error(HTTPStatus.INTERNAL_SERVER_ERROR, str(e)) else: self.send_error(HTTPStatus.NOT_FOUND, API not found) def end_headers(self): # 添加CORS头 self.send_header(Access-Control-Allow-Origin, *) self.send_header(Access-Control-Allow-Methods, GET, POST, OPTIONS) self.send_header(Access-Control-Allow-Headers, Content-Type) http.server.SimpleHTTPRequestHandler.end_headers(self) def do_OPTIONS(self): # 处理预检请求 self.send_response(200) self.end_headers() if __name__ __main__: import os # 设置当前目录为静态文件目录 os.chdir(os.path.dirname(os.path.abspath(__file__))) # 启动服务器 with socketserver.TCPServer((, WEB_PORT), ProxyHandler) as httpd: print(f代理服务器启动在 http://localhost:{WEB_PORT}) print(fvLLM API地址: http://localhost:{VLLM_PORT}) print(按 CtrlC 停止服务) httpd.serve_forever() EOF # 创建启动脚本 cat start_all.sh EOF #!/bin/bash # 激活虚拟环境 source ~/vllm-env/bin/activate # 设置模型路径 MODEL_IDQwen/Qwen2-VL-7B-Instruct-GPTQ-Int4 MODEL_NAMEQwen3-VL-8B-Instruct-4bit-GPTQ MODEL_DIR/root/build/qwen # 创建模型目录 mkdir -p $MODEL_DIR echo 启动 Qwen3-VL-8B 聊天系统 echo 模型: $MODEL_NAME echo 目录: $(pwd) # 检查vLLM服务是否已经在运行 if pgrep -f vllm serve /dev/null; then echo vLLM服务已经在运行 else echo 启动vLLM推理服务... # 启动vLLM服务 vllm serve $MODEL_ID \ --host 0.0.0.0 \ --port 3001 \ --gpu-memory-utilization 0.8 \ --max-model-len 8192 \ --dtype float16 \ --served-model-name $MODEL_NAME \ --download-dir $MODEL_DIR \ vllm.log 21 VLLM_PID$! echo vLLM服务启动PID: $VLLM_PID # 等待vLLM服务就绪 echo 等待vLLM服务初始化... sleep 30 # 检查服务是否健康 for i in {1..10}; do if curl -s http://localhost:3001/health /dev/null; then echo vLLM服务就绪 break fi echo 等待vLLM服务... ($i/10) sleep 5 done fi # 检查代理服务器是否已经在运行 if pgrep -f proxy_server.py /dev/null; then echo 代理服务器已经在运行 else echo 启动代理服务器... # 启动代理服务器 python3 proxy_server.py proxy.log 21 PROXY_PID$! echo 代理服务器启动PID: $PROXY_PID fi echo echo 服务启动完成 echo Web界面: http://localhost:8000/chat.html echo API地址: http://localhost:3001/v1/chat/completions echo echo 查看日志: echo vLLM日志: tail -f vllm.log echo 代理日志: tail -f proxy.log echo echo 停止服务: echo pkill -f vllm serve echo pkill -f proxy_server.py EOF # 给脚本添加执行权限 chmod x start_all.sh chmod x proxy_server.py5.2 一键启动系统现在我们可以一键启动整个系统# 进入项目目录 cd ~/build # 启动服务 ./start_all.sh启动成功后你会看到类似这样的输出启动 Qwen3-VL-8B 聊天系统模型: Qwen3-VL-8B-Instruct-4bit-GPTQ 目录: /root/build 启动vLLM推理服务... vLLM服务启动PID: 12345 等待vLLM服务初始化... 等待vLLM服务... (1/10) 等待vLLM服务... (2/10) vLLM服务就绪启动代理服务器... 代理服务器启动PID: 12346 服务启动完成 Web界面: http://localhost:8000/chat.html API地址: http://localhost:3001/v1/chat/completions 查看日志: vLLM日志: tail -f vllm.log 代理日志: tail -f proxy.log 停止服务: pkill -f vllm serve pkill -f proxy_server.py5.3 访问聊天界面打开浏览器访问http://你的服务器IP:8000/chat.html就能看到聊天界面了。如果你在本地服务器上操作可以直接访问本地访问http://localhost:8000/chat.html局域网访问http://你的内网IP:8000/chat.html首次使用注意事项第一次启动会下载模型文件约4-5GB需要一些时间下载速度取决于你的网络状况模型下载完成后会自动加载到GPU显存6. 高级配置与优化6.1 模型参数调整根据你的硬件配置可以调整vLLM的参数以获得最佳性能# 编辑start_all.sh文件 vim start_all.sh # 找到vLLM启动命令可以调整以下参数 vllm serve $MODEL_ID \ --host 0.0.0.0 \ --port 3001 \ --gpu-memory-utilization 0.8 \ # GPU显存使用率0.1-0.9 --max-model-len 8192 \ # 最大上下文长度 --dtype float16 \ # 数据类型float16或bfloat16 --tensor-parallel-size 1 \ # 张量并行数多GPU时使用 --block-size 16 \ # 块大小影响内存效率 --swap-space 4 \ # CPU交换空间大小GB --served-model-name $MODEL_NAME \ --download-dir $MODEL_DIR参数说明参数推荐值说明--gpu-memory-utilization0.6-0.9GPU显存使用率值越大占用显存越多--max-model-len4096-32768最大上下文长度值越大支持对话越长--dtypefloat16数据类型float16节省显存bfloat16精度更好--tensor-parallel-size1多GPU并行数单GPU设为1--block-size16注意力块大小影响内存效率--swap-space4CPU交换空间当显存不足时使用6.2 系统服务配置为了让服务在系统启动时自动运行我们可以配置systemd服务# 创建vLLM服务文件 sudo tee /etc/systemd/system/vllm.service EOF [Unit] DescriptionvLLM Inference Service Afternetwork.target [Service] Typesimple Userroot WorkingDirectory/root/build EnvironmentPATH/root/vllm-env/bin:/usr/local/bin:/usr/bin:/bin ExecStart/root/vllm-env/bin/vllm serve Qwen/Qwen2-VL-7B-Instruct-GPTQ-Int4 \ --host 0.0.0.0 \ --port 3001 \ --gpu-memory-utilization 0.8 \ --max-model-len 8192 \ --dtype float16 \ --served-model-name Qwen3-VL-8B-Instruct-4bit-GPTQ \ --download-dir /root/build/qwen Restartalways RestartSec10 [Install] WantedBymulti-user.target EOF # 创建代理服务文件 sudo tee /etc/systemd/system/chat-proxy.service EOF [Unit] DescriptionChat Proxy Service Aftervllm.service Requiresvllm.service [Service] Typesimple Userroot WorkingDirectory/root/build EnvironmentPATH/root/vllm-env/bin:/usr/local/bin:/usr/bin:/bin ExecStart/root/vllm-env/bin/python /root/build/proxy_server.py Restartalways RestartSec10 [Install] WantedBymulti-user.target EOF # 重新加载systemd配置 sudo systemctl daemon-reload # 启动服务 sudo systemctl start vllm.service sudo systemctl start chat-proxy.service # 设置开机自启 sudo systemctl enable vllm.service sudo systemctl enable chat-proxy.service # 查看服务状态 sudo systemctl status vllm.service sudo systemctl status chat-proxy.service6.3 Nginx反向代理配置可选如果你希望通过域名访问或者需要HTTPS支持可以配置Nginx# 安装Nginx sudo yum install -y nginx # 创建Nginx配置 sudo tee /etc/nginx/conf.d/chat.conf EOF server { listen 80; server_name your-domain.com; # 替换为你的域名 location / { proxy_pass http://localhost:8000; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; # WebSocket支持 proxy_http_version 1.1; proxy_set_header Upgrade $http_upgrade; proxy_set_header Connection upgrade; } location /v1/ { proxy_pass http://localhost:3001; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Proto $scheme; # 增加超时时间 proxy_read_timeout 300s; proxy_connect_timeout 75s; } } EOF # 测试Nginx配置 sudo nginx -t # 重启Nginx sudo systemctl restart nginx # 设置防火墙如果需要 sudo firewall-cmd --permanent --add-servicehttp sudo firewall-cmd --permanent --add-servicehttps sudo firewall-cmd --reload7. 常见问题与解决方案7.1 编译安装问题问题1GCC版本太低error: invalid conversion from const char* to char* [-fpermissive]解决方案# 确认使用GCC 11 source /opt/rh/devtoolset-11/enable gcc --version # 如果还是有问题尝试设置环境变量 export CC/opt/rh/devtoolset-11/root/usr/bin/gcc export CXX/opt/rh/devtoolset-11/root/usr/bin/g问题2Python包安装失败ERROR: Failed building wheel for vllm解决方案# 升级pip和setuptools pip install --upgrade pip setuptools wheel # 安装编译依赖 sudo yum install -y python3-devel # 清理缓存重新安装 pip cache purge pip install vllm --no-cache-dir7.2 运行时报错问题3CUDA版本不兼容RuntimeError: Detected CUDA version 11.8, but PyTorch was built with CUDA version 12.1解决方案# 重新安装对应CUDA版本的PyTorch pip uninstall torch torchvision torchaudio -y pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118问题4显存不足OutOfMemoryError: CUDA out of memory解决方案# 修改start_all.sh中的参数 # 降低显存使用率 --gpu-memory-utilization 0.6 # 减少最大上下文长度 --max-model-len 4096 # 启用CPU交换空间 --swap-space 87.3 网络连接问题问题5模型下载失败ConnectionError: Failed to download model解决方案# 方法1手动下载模型 cd ~/build/qwen # 从其他源下载模型文件然后放到qwen目录 # 方法2使用代理如果有 export http_proxyhttp://your-proxy:port export https_proxyhttp://your-proxy:port # 方法3使用国内镜像源 export HF_ENDPOINThttps://hf-mirror.com问题6API请求超时TimeoutError: The read operation timed out解决方案# 增加超时时间在proxy_server.py中修改 vllm_response requests.post( f{VLLM_URL}{self.path}, datapost_data, headers{Content-Type: application/json}, timeout120 # 增加到120秒 )7.4 性能优化建议提升推理速度# 1. 使用量化模型已经使用GPTQ-Int4 # 2. 调整批处理大小 vllm serve ... --max-num-batched-tokens 2560 # 3. 启用连续批处理 vllm serve ... --enable-chunked-prefill # 4. 使用更快的注意力机制 vllm serve ... --attention-backend flash-attn减少内存占用# 1. 使用更小的数据类型 --dtype float16 # 2. 启用量化缓存 --quantization awq # 如果模型支持 # 3. 调整块大小 --block-size 8 # 4. 限制并发请求 --max-num-seqs 48. 使用技巧与最佳实践8.1 日常维护命令查看服务状态# 查看vLLM进程 ps aux | grep vllm # 查看代理进程 ps aux | grep proxy_server # 查看GPU使用情况 nvidia-smi # 查看服务日志 tail -f ~/build/vllm.log tail -f ~/build/proxy.log重启服务# 停止服务 pkill -f vllm serve pkill -f proxy_server.py # 等待几秒 sleep 5 # 重新启动 cd ~/build ./start_all.sh清理缓存# 清理Python缓存 pip cache purge # 清理模型缓存如果需要重新下载 rm -rf ~/.cache/huggingface/ rm -rf ~/build/qwen/* # 清理日志文件 truncate -s 0 ~/build/vllm.log truncate -s 0 ~/build/proxy.log8.2 监控与告警基础监控脚本cat monitor.sh EOF #!/bin/bash # 监控脚本 echo 系统监控 echo 时间: $(date) # GPU状态 echo echo GPU状态: nvidia-smi --query-gpuname,temperature.gpu,utilization.gpu,memory.used,memory.total --formatcsv # 服务状态 echo echo 服务状态: if pgrep -f vllm serve /dev/null; then echo vLLM服务: 运行中 else echo vLLM服务: 已停止 fi if pgrep -f proxy_server.py /dev/null; then echo 代理服务: 运行中 else echo 代理服务: 已停止 fi # 端口检查 echo echo 端口检查: netstat -tlnp | grep -E :8000|:3001 # 日志检查 echo echo 最近错误日志: tail -20 ~/build/vllm.log | grep -i error || echo 无错误 EOF chmod x monitor.sh设置定时监控# 添加到crontab每5分钟检查一次 (crontab -l 2/dev/null; echo */5 * * * * /root/build/monitor.sh /root/build/monitor.log 21) | crontab -8.3 备份与恢复备份配置文件# 创建备份目录 mkdir -p ~/backup/chat-system # 备份重要文件 cp ~/build/start_all.sh ~/backup/chat-system/ cp ~/build/proxy_server.py ~/backup/chat-system/ cp ~/build/chat.html ~/backup/chat-system/ # 备份模型配置 if [ -f ~/build/qwen/config.json ]; then cp ~/build/qwen/config.json ~/backup/chat-system/ fi # 创建备份压缩包 tar -czf ~/backup/chat-system-$(date %Y%m%d).tar.gz -C ~/backup/chat-system .恢复系统# 解压备份 tar -xzf ~/backup/chat-system-20240115.tar.gz -C ~/build/ # 重新安装依赖 cd ~/build source ~/vllm-env/bin/activate pip install -r requirements.txt # 如果有requirements.txt # 重启服务 ./start_all.sh9. 总结通过本教程我们完成了在CentOS 7系统上部署Qwen3-VL-8B AI聊天系统的全过程。让我们回顾一下关键步骤主要完成的工作环境准备升级了Python到3.9安装了GCC 11编译环境GPU配置安装了NVIDIA驱动、CUDA Toolkit和cuDNNvLLM编译从源码编译安装了高性能的vLLM推理引擎系统部署搭建了包含前端、代理和后端的完整聊天系统优化配置调整了参数以获得最佳性能配置了系统服务这个系统的优势完整易用开箱即用的Web界面无需复杂配置性能优秀基于vLLM推理速度快资源利用率高灵活部署支持本地、局域网和远程访问易于维护提供了一键启动脚本和监控工具后续可以探索的方向模型微调使用自己的数据对模型进行微调多模型支持扩展支持其他视觉语言模型功能增强添加文件上传、多轮对话管理等功能性能优化进一步优化推理速度和资源使用集群部署扩展到多GPU或多节点部署部署过程中如果遇到问题记得查看日志文件vllm.log和proxy.log大多数问题都能在日志中找到线索。对于复杂问题可以参考vLLM官方文档和Qwen模型文档。现在你已经拥有了一个完全在自己控制下的AI聊天系统可以开始探索视觉语言模型的强大能力了。无论是技术研究、产品开发还是个人学习这个系统都能为你提供强大的支持。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。