网站上人家做的简历国家信用信息公示系统的官网

张

张建站

2026/4/6 18:47:40

10分钟阅读

网站上人家做的简历,国家信用信息公示系统的官网,wordpress阿里百变,wordpress 视频站模板下载失败Flowise模型量化实践#xff1a;AWQ/GGUF格式本地LLM加载教程 1. 引言想用大模型做个智能客服或者文档问答机器人#xff0c;但一看到动辄几十GB的模型文件就头疼#xff1f;觉得API调用太贵#xff0c;想本地部署又担心显卡内存不够#xff1f; 别急#xff0c;今天…Flowise模型量化实践AWQ/GGUF格式本地LLM加载教程1. 引言想用大模型做个智能客服或者文档问答机器人但一看到动辄几十GB的模型文件就头疼觉得API调用太贵想本地部署又担心显卡内存不够别急今天咱们就来解决这个痛点。模型量化技术简单说就是给大模型“瘦身”在不明显影响效果的前提下大幅减少模型对内存和显存的占用。而Flowise这个工具能让你像搭积木一样零代码搭建起基于这些“瘦身后”模型的工作流。这篇文章我会手把手带你完成两件事将常见的开源大模型比如Llama、Qwen转换成更轻量的AWQ或GGUF格式。在Flowise中加载并使用这些量化后的模型搭建一个开箱即用的本地AI应用。无论你是开发者、技术爱好者还是业务人员跟着这篇教程走你都能在半小时内让一个“减肥成功”的大模型在你的电脑上跑起来并为你工作。2. 模型量化给大模型“瘦身”在把大象塞进冰箱之前我们得先想办法把大象变小一点。模型量化就是这个“变小”的过程。2.1 为什么需要量化想象一下原始的大模型就像是用双精度浮点数float64来存储每一个知识点的百科全书非常精确但也非常笨重。量化就是把这套百科全书用更紧凑的格式比如int8、int4重新编码牺牲一点点精度换来体积和速度的巨大提升。原始模型FP16/BF16一个7B参数的模型大概需要14GB显存。你的消费级显卡比如RTX 4060的8GB显存根本装不下。量化后模型INT4同样的7B模型量化后可能只需要4-5GB显存。这下很多人的电脑都能跑起来了。2.2 AWQ vs. GGUF两种主流“瘦身”方案目前最流行的两种量化格式是AWQ和GGUF它们各有千秋。特性AWQ (Activation-aware Weight Quantization)GGUF (GPT-Generated Unified Format)核心思想“保大放小”。在量化时会分析模型运行时激活值Activation的分布对那些对输出影响大的权重Weight进行高精度保护对影响小的权重进行激进量化。格式统一工具链成熟。由llama.cpp项目推动已成为一个通用的模型存储和加载格式标准社区支持极好。主要优势理论上有更好的精度保持尤其在低比特如4-bit量化时效果损失更小。生态丰富工具多如llama.cpp。支持CPU/GPU混合推理对纯CPU环境更友好。常用工具autoawq,vLLM(支持加载AWQ模型)llama.cpp,ollama(底层基于GGUF)适合场景追求极致性能与精度平衡主要在GPU上运行。希望使用成熟工具链或在资源受限无GPU或显存小的CPU环境运行。简单来说如果你有一张不错的NVIDIA显卡想榨干它的性能AWQ是很好的选择。如果你只有CPU或者想用最省事、社区资源最多的方案GGUF是稳妥的选择。我们这篇教程会涵盖这两种格式的实践。3. 准备工作与环境搭建工欲善其事必先利其器。我们先来把厨房收拾好。3.1 硬件与软件要求操作系统Linux (Ubuntu 20.04/22.04推荐) 或 Windows WSL2。本文以Ubuntu为例。内存建议16GB以上。存储至少50GB可用空间用于存放模型和临时文件。显卡可选但推荐NVIDIA GPU显存6GB以上体验更佳。支持CUDA 11.8及以上。软件依赖Python 3.10 Git, CUDA Toolkit (如果用GPU)。3.2 安装基础工具打开你的终端执行以下命令来安装一些必备工具。# 更新系统包 sudo apt update sudo apt upgrade -y # 安装Python和pip sudo apt install -y python3-pip python3-venv # 安装Git sudo apt install -y git # (如果使用GPU) 安装CUDA相关的构建工具 sudo apt install -y build-essential cmake3.3 创建并激活Python虚拟环境为了避免包版本冲突强烈建议使用虚拟环境。# 创建一个名为flowise-quant的虚拟环境 python3 -m venv flowise-quant # 激活虚拟环境 # 在Linux/macOS上 source flowise-quant/bin/activate # 在Windows上如果使用 # flowise-quant\Scripts\activate # 激活后你的命令行提示符前应该会出现 (flowise-quant)4. 实战将模型转换为AWQ格式这里我们以流行的Qwen2.5-7B-Instruct模型为例将其量化为4-bit的AWQ格式。4.1 安装AutoAWQ工具AutoAWQ是进行AWQ量化的核心工具。# 确保在虚拟环境中 pip install autoawq # 如果遇到torch安装问题可以先安装torch # pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu1184.2 执行量化脚本创建一个Python脚本比如叫做quantize_awq.py。# quantize_awq.py from awq import AutoAWQForCausalLM from transformers import AutoTokenizer model_path Qwen/Qwen2.5-7B-Instruct # HuggingFace模型ID quant_path ./qwen2.5-7b-instruct-awq # 量化后模型保存路径 # 加载模型和分词器 print(f正在加载原始模型: {model_path}) model AutoAWQForCausalLM.from_pretrained(model_path) tokenizer AutoTokenizer.from_pretrained(model_path) # 定义量化配置 quant_config { zero_point: True, # 使用零点量化精度更高 q_group_size: 128, # 分组大小128是常用值 w_bit: 4, # 权重量化为4-bit version: GEMM # 使用GEMM版本 } # 执行量化 print(开始量化模型这可能需要一些时间...) model.quantize(tokenizer, quant_configquant_config) # 保存量化后的模型 print(f正在保存量化模型到: {quant_path}) model.save_quantized(quant_path) tokenizer.save_pretrained(quant_path) print(AWQ量化完成)运行这个脚本python quantize_awq.py这个过程会从Hugging Face下载原始模型约14GB然后进行量化最终生成一个大约4-5GB的量化模型文件夹。耗时取决于你的网络和CPU/GPU速度。5. 实战将模型转换为GGUF格式我们同样以Qwen2.5-7B-Instruct为例使用llama.cpp的工具将其转换为GGUF格式。5.1 克隆并编译llama.cpp# 克隆仓库 git clone https://github.com/ggerganov/llama.cpp cd llama.cpp # 编译启用GPU加速如果不需要可去掉LLAMA_CUDA1 make LLAMA_CUDA1 -j # 编译完成后会生成 quantize 和 main 等可执行文件5.2 下载原始模型并转换为GGUF中间格式llama.cpp需要先将Hugging Face格式的模型转换为FP16的GGUF格式再进行量化。# 回到你的工作目录 cd .. # 使用llama.cpp提供的Python脚本转换模型 # 首先安装必要的Python包 pip install torch transformers sentencepiece # 执行转换 python llama.cpp/convert_hf_to_gguf.py \ --model Qwen/Qwen2.5-7B-Instruct \ --outfile ./qwen2.5-7b-instruct.fp16.gguf \ --outtype f16 # 输出为FP16格式5.3 对GGUF模型进行量化现在我们将FP16的GGUF文件量化为更低精度的格式例如Q4_K_M一种常用的4-bit量化方法。# 使用编译好的quantize工具 ./llama.cpp/quantize \ ./qwen2.5-7b-instruct.fp16.gguf \ ./qwen2.5-7b-instruct.q4_k_m.gguf \ q4_k_m执行完毕后你会得到qwen2.5-7b-instruct.q4_k_m.gguf文件大小同样在4-5GB左右。6. 在Flowise中加载量化模型模型“瘦身”成功了现在该让它们在Flowise里干活了。这里我们介绍两种主流方式通过Ollama加载GGUF以及通过vLLM加载AWQ。6.1 方法一通过Ollama加载GGUF模型推荐给初学者Ollama是一个极其简单的本地大模型运行工具完美支持GGUF格式。步骤1安装并启动Ollama# 安装Ollama curl -fsSL https://ollama.com/install.sh | sh # 启动Ollama服务通常安装后会自动启动 ollama serve 步骤2创建Model FileOllama通过一个名为Modelfile的配置文件来创建模型。创建一个文件例如qwen2.5-7b-instruct-q4.ModelfileFROM ./qwen2.5-7b-instruct.q4_k_m.gguf # 设置模板以匹配Qwen的聊天格式 TEMPLATE |im_start|system {{ .System }}|im_end| |im_start|user {{ .Prompt }}|im_end| |im_start|assistant PARAMETER num_ctx 4096 # 上下文长度步骤3创建并运行Ollama模型# 根据Modelfile创建模型命名为my-qwen ollama create my-qwen -f ./qwen2.5-7b-instruct-q4.Modelfile # 运行模型会在后台以API形式提供服务 ollama run my-qwen 步骤4在Flowise中配置启动你的Flowise服务假设已部署在http://localhost:3000。在画布上拖入一个ChatOllama节点。在节点配置中Model: 填写my-qwen你刚才创建的名字。Base URL: 填写http://localhost:11434(Ollama默认API地址)。连接其他节点如Prompt模板、输入输出即可开始对话。6.2 方法二通过vLLM加载AWQ模型追求高性能vLLM是一个高性能的推理引擎对AWQ格式支持很好。步骤1安装vLLMpip install vllm步骤2启动vLLM服务指定我们刚才量化好的AWQ模型路径。python -m vllm.entrypoints.openai.api_server \ --model ./qwen2.5-7b-instruct-awq \ --served-model-name qwen-awq \ --api-key token-abc123 \ --port 8000 \ --quantization awq \ --max-model-len 4096步骤3在Flowise中配置在Flowise画布上拖入一个ChatOpenAI节点。在节点配置中Model: 填写qwen-awq(与--served-model-name一致)。OpenAI API Key: 填写token-abc123(与--api-key一致)。Base Path: 填写http://localhost:8000/v1(vLLM OpenAI兼容API地址)。这样配置后Flowise就会将请求发送到你本地的vLLM服务调用AWQ量化模型进行推理。7. 搭建你的第一个本地AI工作流现在模型已经就位我们来用Flowise快速搭一个能用的东西。7.1 场景本地文档问答助手我们将搭建一个流程上传一个PDF文档然后就可以用自然语言提问从文档中获取答案。添加节点File节点用于上传PDF。PDF Loader节点读取PDF内容。Recursive Character Text Splitter节点将长文本切分成小块。In-Memory Vector Store节点存储文本块的向量索引。OpenAI Embeddings节点这里可以换成HuggingFaceEmbeddings并选一个本地小模型实现完全本地化。ChatOllama或ChatOpenAI节点配置好我们本地量化的模型。Prompt Template节点编写一个提示词告诉模型如何基于提供的文档片段回答问题。Conversation Chain节点将以上所有连接起来。连接节点按照 “文件加载 - 文本分割 - 向量化存储 - 用户提问 - 检索相关片段 - 模型生成答案” 的逻辑流进行连线。测试在Flowise的聊天窗口上传一个PDF文件然后输入问题比如“这份报告的主要结论是什么”。Flowise会自动完成检索和生成将答案返回给你。7.2 效果对比与体会完成搭建后你可以对比一下速度相比调用云端API本地推理的延迟更稳定没有网络波动。成本电费除外一次部署无限次使用。隐私所有数据都在本地安全可控。效果量化后的7B模型在文档理解、总结、问答等任务上已经能提供非常实用和流畅的体验完全能满足内部工具、个人助手等场景的需求。8. 总结走完整个流程我们再回顾一下关键点量化是本地部署的钥匙AWQ和GGUF是当前最实用的两种模型“瘦身”格式能让你在消费级硬件上运行7B、甚至14B的大模型。工具链已经成熟autoawq、llama.cpp、ollama、vLLM这些工具让量化和部署变得前所未有的简单。Flowise是粘合剂它将本地模型、向量数据库、业务逻辑通过可视化方式连接让你能专注于“做什么”而不是“怎么做代码实现”。从今天开始实践不要再觉得本地大模型遥不可及。按照本教程选择一种量化格式GGUFOllama最简单你完全可以在今天下午就拥有一个属于自己的、全本地的智能助手。量化技术仍在快速发展未来会有更高效、精度损失更小的方案出现。但现有的工具已经足够为我们打开一扇通往本地AI应用的大门。希望这篇教程能成为你动手实践的第一块敲门砖。获取更多AI镜像想探索更多AI镜像和应用场景访问 CSDN星图镜像广场提供丰富的预置镜像覆盖大模型推理、图像生成、视频生成、模型微调等多个领域支持一键部署。