网站怎么吸引用户,手机网页制作,资源开发公司经营范围,wordpress+淘客代码基于您提供的 Python 脚本#xff0c;该项目实现了一个从图片/文档识别到结构化数据输出的全自动化流水线。以下是该项目的工作流、技术栈及工程化经验总结#xff1a; 一、 核心工作流 该项目采用 “预处理 - OCR识别 - LLM结构化 - 多格式输出” 的分步处理模式…基于您提供的 Python 脚本该项目实现了一个从图片/文档识别到结构化数据输出的全自动化流水线。以下是该项目的工作流、技术栈及工程化经验总结一、 核心工作流该项目采用“预处理 - OCR识别 - LLM结构化 - 多格式输出”的分步处理模式环境与配置初始化优先从环境变量 (ZHIPU_API_KEY) 或命令行参数获取 API Key若无则使用内置占位符。对 API Key 进行清洗去除空格、不可见字符确保鉴权稳定性。数据预处理文件筛选自动过滤非目标文件仅支持 jpg/jpeg/png/pdf并通过文件名机制_reencoded后缀避免重复处理。图像优化针对低 DPI150图片进行自动插值放大使用 LANCZOS 算法并将图片统一重编码为 150 DPI 的高清图显著提升 OCR 识别率。批量 OCR 识别将处理后的图片转为 Base64 编码支持 Data URL 格式。调用 GLM-OCR 专用接口 (layout_parsing) 进行版面分析与文字识别。将原始 OCR 结果持久化存储为 JSON 文件作为中间态数据。LLM 智能后处理文档分类基于关键词如“发票号码”、“table”快速识别文档类型发票、表格、普通文本。信息抽取与清洗发票引导 LLM 输出标准 JSON提取发票号、金额、纳税人识别号等字段。表格将 OCR 文本转化为标准 Markdown 表格。文本生成摘要或整理格式。并发加速使用线程池 (ThreadPoolExecutor) 并行调用 LLM 接口提升批量处理速度。结果输出生成包含所有文档汇总的Markdown 报告。针对发票类数据自动生成结构化的Excel 表格(.xlsx)方便财务归档。二、 关键接口与技术栈类别技术组件/接口用途说明OCR 核心zaiSDK /zhipuaiSDK优先使用zai库调用layout_parsing接口支持版面分析与可视化。LLM 核心GLM-4.7-FlashX/GLM-4.7-FlashX用于文本理解、字段提取与格式化。Flash 系列模型具有高性价比与高响应速度。图像处理Pillow(PIL)图片 DPI 读取、模式转换 (RGB)、尺寸缩放、质量压缩与重编码。数据编码base64将二进制图片文件转化为 API 传输所需的文本格式。并发控制concurrent.futures.ThreadPoolExecutor实现多线程并发请求 LLM解决网络 I/O 阻塞问题。数据输出pandas,openpyxl将提取的结构化数据导出为 Excel 文件。三、 工程化经验总结这份代码体现了在 AI 落地项目中非常实用的工程思维可作为后续项目的最佳实践参考1. “垃圾进垃圾出” (GIGO) 的防御性编程经验直接将低分辨率原图送入 OCR 往往效果不佳。脚本内置了 DPI 检测与超分辨率重建逻辑自动放大至 150 DPI这是提升识别准确率最有效的前置手段比事后用 LLM 纠错更可靠。2. 异构 SDK 的兼容性设计经验在导入库时采用了try...except ImportError的回退机制。优先尝试专用 SDK (zai)失败后回退到通用 SDK (zhipuai)。这种设计增强了脚本在不同环境下的适应性降低了部署门槛。3. 模型分层策略经验不同任务使用不同层级的模型。OCR 任务使用专用的glm-ocr模型后处理提取发票信息使用GLM-4.7-FlashX结构化能力强处理表格转换使用GLM-4.7-FlashX。通过模型分层在保证效果的前提下优化了 Token 成本和响应速度。4. 原始数据留痕经验将 OCR 原始结果先保存为 JSON 文件再进行 LLM 处理。这样做的好处是如果 LLM 处理失败或 Prompt 需要调整无需重新上传图片进行 OCROCR 通常按次收费且耗时直接基于 JSON 数据重跑即可节省成本与时间。5. 提示词与数据清洗闭环经验在调用 LLM 提取 JSON 时代码中包含了去除 Markdown 代码块标记json ...的逻辑。这是大模型开发中常见的“清洗”步骤能够有效防止解析报错确保输出数据可被程序直接使用。