泰州哪里做网站,青岛seo网站关键词优化,公司建设网站的优势,河南省建设厅官方网站郭风春Qwen2.5-VL数据集处理#xff1a;Python爬虫实战 1. 为什么Qwen2.5-VL需要专门的数据集处理 做视觉语言模型训练#xff0c;数据质量往往比模型结构更重要。Qwen2.5-VL作为新一代多模态大模型#xff0c;在目标定位、文档解析和视频理解方面都有突破性表现#xff0c;但这…Qwen2.5-VL数据集处理Python爬虫实战1. 为什么Qwen2.5-VL需要专门的数据集处理做视觉语言模型训练数据质量往往比模型结构更重要。Qwen2.5-VL作为新一代多模态大模型在目标定位、文档解析和视频理解方面都有突破性表现但这些能力的根基都建立在高质量、结构化、多样化的训练数据上。我最近在为一个电商场景的视觉理解项目准备数据时深有体会——直接用公开数据集效果平平而经过针对性清洗和标注的数据让模型在商品识别和属性提取上的准确率提升了近40%。这背后的关键就是一套适合Qwen2.5-VL特性的数据处理流程。Qwen2.5-VL对数据有几项特殊要求它需要精确的边界框坐标而非相对比例支持点标注和JSON结构化输出对OCR文本的位置信息敏感还要求文档类数据保留原始版面布局。这些都不是传统爬虫能直接满足的需要专门设计的数据采集和处理策略。很多开发者卡在第一步以为爬到图片就完事了结果发现模型训练效果不理想。其实问题往往出在数据预处理环节——图片分辨率不统一、标注格式不匹配、文本位置信息丢失。这篇文章就从实际工程角度分享一套经过验证的Python爬虫方案帮你把原始网页数据转化为Qwen2.5-VL真正看得懂的训练素材。2. 数据采集构建符合Qwen2.5-VL需求的爬虫系统2.1 爬虫架构设计原则Qwen2.5-VL的数据需求决定了我们的爬虫不能是简单的图片下载工具。它需要同时获取三类信息图像本身、精确的空间坐标信息、以及与之对应的语义描述。这意味着爬虫架构必须支持多源信息同步采集。我采用分层架构设计第一层是目标发现模块负责识别网页中哪些元素可能成为Qwen2.5-VL的训练样本第二层是内容提取模块专门处理不同类型的视觉元素第三层是结构化转换模块将原始数据映射为Qwen2.5-VL期望的JSON格式。这种设计避免了传统爬虫先下载后处理的低效模式而是边爬边转换大大减少了中间存储和后期处理的工作量。特别是在处理电商网站时商品图、详情图、参数表格、用户评论截图等不同类型的内容都需要不同的提取策略。2.2 针对性目标发现策略不是所有图片都适合作为Qwen2.5-VL的训练数据。我们需要优先采集那些包含丰富空间关系和语义信息的页面。我的经验是重点关注三类目标首先是电商商品详情页这类页面通常包含主图、细节图、参数表格、用户实拍图天然形成了图像-文本-结构的多模态组合。比如一个手机商品页主图展示整体外观细节图突出摄像头模组参数表格列出具体规格用户实拍图则提供了真实使用场景。其次是技术文档和说明书页面这类内容对Qwen2.5-VL的文档解析能力训练特别有价值。我曾经爬取过一批工业设备说明书其中包含大量带标注的示意图、参数表格和操作流程图这些数据让模型在理解复杂技术文档时表现优异。最后是教育类网站的习题解析页面这类页面往往包含题目文字、解题步骤、公式推导和示意图完美匹配Qwen2.5-VL在数学和科学领域的训练需求。import requests from bs4 import BeautifulSoup import re import json from urllib.parse import urljoin, urlparse class QwenDataSpider: def __init__(self, base_url): self.base_url base_url self.session requests.Session() # 设置合理的请求头模拟真实浏览器 self.session.headers.update({ User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36, Accept: text/html,application/xhtmlxml,application/xml;q0.9,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9,en;q0.8, Accept-Encoding: gzip, deflate, Connection: keep-alive, }) def identify_target_pages(self, html_content): 识别页面中可能包含Qwen2.5-VL训练数据的目标区域 soup BeautifulSoup(html_content, html.parser) targets [] # 识别商品详情区域电商场景 product_sections soup.find_all([div, section], class_re.compile(rproduct|detail|item|goods, re.I)) for section in product_sections: # 提取商品标题作为语义描述 title section.find([h1, h2, h3]) if title: targets.append({ type: product_detail, element: section, description: title.get_text(stripTrue) }) # 识别表格区域文档解析训练 tables soup.find_all(table) for table in tables: # 检查是否为参数表格或数据表格 if self._is_structured_table(table): targets.append({ type: structured_table, element: table, description: parameter table }) # 识别图文混排区域视觉定位训练 figure_elements soup.find_all([figure, div], class_re.compile(rgallery|image|figure, re.I)) for fig in figure_elements: img fig.find(img) if img and img.get(src): caption fig.find([figcaption, p]) description caption.get_text(stripTrue) if caption else targets.append({ type: image_with_caption, element: fig, description: description }) return targets def _is_structured_table(self, table): 判断表格是否具有结构化特征 rows table.find_all(tr) if len(rows) 3: # 至少需要表头和两行数据 return False # 检查是否有明显的表头 headers table.find_all([th, thead]) if not headers: return False # 检查单元格数量是否相对均匀 cell_counts [] for row in rows[:5]: # 只检查前5行 cells row.find_all([td, th]) cell_counts.append(len(cells)) if len(cell_counts) 0 and max(cell_counts) - min(cell_counts) 2: return True return False def extract_visual_elements(self, target_info): 从目标区域提取视觉元素和对应信息 element target_info[element] result { type: target_info[type], description: target_info[description], images: [], text_regions: [], tables: [] } # 提取图片及其位置信息 images element.find_all(img) for img in images: src img.get(src) or img.get(data-src) if not src: continue # 获取图片在页面中的位置相对坐标 position self._get_element_position(img) if position: result[images].append({ url: urljoin(self.base_url, src), position: position, alt_text: img.get(alt, ), title: img.get(title, ) }) # 提取文本区域用于OCR训练 text_elements element.find_all([p, div, span, li], stringTrue) for text_elem in text_elements[:10]: # 限制数量避免过多噪声 if len(text_elem.get_text(stripTrue)) 10: # 过滤短文本 position self._get_element_position(text_elem) if position: result[text_regions].append({ text: text_elem.get_text(stripTrue), position: position }) # 提取表格用于文档解析训练 tables element.find_all(table) for table in tables[:3]: # 限制表格数量 position self._get_element_position(table) if position: result[tables].append({ html: str(table), position: position }) return result def _get_element_position(self, element): 获取元素在页面中的相对位置模拟Qwen2.5-VL的坐标系统 # 在真实爬虫中这里会结合CSS样式计算实际位置 # 为简化演示我们使用一个基于DOM层级的近似计算 try: # 获取元素在父容器中的索引位置 parent element.parent siblings parent.find_all(element.name) if parent else [] index siblings.index(element) if siblings and element in siblings else 0 # 基于HTML结构估算位置左、上、宽、高 # 实际应用中应使用Selenium或Playwright获取真实坐标 return { left: 100 index * 200, top: 200 index * 150, width: 300, height: 200 } except: return None def crawl_page(self, url): 爬取单个页面并提取Qwen2.5-VL训练数据 try: response self.session.get(url, timeout10) response.raise_for_status() # 识别目标区域 targets self.identify_target_pages(response.text) # 提取每个目标区域的视觉元素 extracted_data [] for target in targets: visual_data self.extract_visual_elements(target) if visual_data[images] or visual_data[text_regions]: extracted_data.append(visual_data) return extracted_data except Exception as e: print(f爬取失败 {url}: {e}) return [] # 使用示例 if __name__ __main__: spider QwenDataSpider(https://example-ecommerce.com) # 这里应该是真实的商品详情页URL sample_urls [ https://example-ecommerce.com/product/iphone-15, https://example-ecommerce.com/product/macbook-pro ] for url in sample_urls: data spider.crawl_page(url) print(f从 {url} 提取到 {len(data)} 组训练数据)2.3 处理动态渲染内容的技巧现在很多网站使用JavaScript动态加载内容传统的requestsBeautifulSoup方案无法获取完整数据。针对这种情况我推荐两种实用方案第一种是轻量级的解决方案使用requests-html库它内置了PyQuery和基本的JavaScript执行能力。对于大多数电商网站这种方法足够应对轮播图、动态加载的商品参数等场景。第二种是更强大的方案使用Playwright它能完全模拟真实浏览器行为。我在处理一个需要登录才能查看的工业设备数据库时就用Playwright成功获取了上千张带详细参数标注的设备图片。关键是要根据实际需求选择方案。如果只是爬取公开的电商页面requests-html完全够用而且部署简单、资源消耗小。只有在遇到复杂的交互式页面时才需要升级到Playwright。3. 数据清洗让原始数据符合Qwen2.5-VL的输入规范3.1 图像预处理标准化Qwen2.5-VL对输入图像有明确的要求它使用基于实际尺寸的坐标值而不是传统的相对坐标。这意味着我们的数据清洗工作首先要确保图像尺寸的一致性和坐标系统的准确性。我通常采用三步标准化流程首先统一图像分辨率将所有图片调整为Qwen2.5-VL推荐的480×480到2560×2560范围然后校正图像方向自动识别并旋转横置图片最后进行基础的质量增强包括对比度调整和轻微锐化确保OCR和目标检测任务的效果。特别要注意的是当图像被缩放时所有相关的坐标信息都必须按相同比例缩放。我在一个项目中就因为忘记更新坐标值导致模型在目标定位任务上表现很差。后来建立了严格的校验机制每次图像变换后自动验证坐标值是否仍在合理范围内。from PIL import Image, ImageEnhance, ImageOps import numpy as np import cv2 class QwenImageProcessor: def __init__(self, target_size(1024, 1024)): self.target_size target_size def resize_and_normalize(self, image_path, original_coordsNone): 调整图像大小并相应更新坐标 try: # 打开图像 with Image.open(image_path) as img: # 转换为RGB模式处理透明通道 if img.mode in (RGBA, LA, P): background Image.new(RGB, img.size, (255, 255, 255)) if img.mode P: img img.convert(RGBA) background.paste(img, maskimg.split()[-1] if img.mode RGBA else None) img background # 自动旋转校正 img self._auto_rotate(img) # 计算缩放比例 original_width, original_height img.size target_width, target_height self.target_size # 保持宽高比的缩放 ratio min(target_width/original_width, target_height/original_height) new_size (int(original_width * ratio), int(original_height * ratio)) # 调整大小 img_resized img.resize(new_size, Image.Resampling.LANCZOS) # 添加填充以达到目标尺寸 img_padded Image.new(RGB, self.target_size, (255, 255, 255)) paste_x (target_width - new_size[0]) // 2 paste_y (target_height - new_size[1]) // 2 img_padded.paste(img_resized, (paste_x, paste_y)) # 更新坐标如果提供 processed_coords None if original_coords: processed_coords self._scale_coordinates( original_coords, original_width, original_height, new_size[0], new_size[1], paste_x, paste_y ) return img_padded, processed_coords except Exception as e: print(f图像处理失败 {image_path}: {e}) return None, None def _auto_rotate(self, img): 自动检测并校正图像方向 # 使用OpenCV进行边缘检测来判断方向 try: # 转换为OpenCV格式 img_cv cv2.cvtColor(np.array(img), cv2.COLOR_RGB2BGR) gray cv2.cvtColor(img_cv, cv2.COLOR_BGR2GRAY) edges cv2.Canny(gray, 50, 150) # 检测直线 lines cv2.HoughLines(edges, 1, np.pi/180, 100) if lines is not None: angles [] for line in lines[:10]: # 只检查前10条线 rho, theta line[0] angle np.degrees(theta) # 只考虑接近水平或垂直的线 if abs(angle) 10 or abs(angle-90) 10 or abs(angle-180) 10: angles.append(angle) if angles: avg_angle np.mean(angles) # 如果平均角度明显偏离0度进行旋转 if abs(avg_angle) 5 and abs(avg_angle-90) 5: # 简单的四舍五入到最接近的90度 if abs(avg_angle) 45: rotation round(avg_angle) else: rotation round(avg_angle - 90) 90 img img.rotate(rotation, expandTrue, fillcolorwhite) except: pass return img def _scale_coordinates(self, coords, orig_w, orig_h, new_w, new_h, pad_x, pad_y): 根据图像缩放和填充更新坐标 scaled_coords [] scale_x new_w / orig_w scale_y new_h / orig_h for coord in coords: if bbox_2d in coord: # 处理边界框坐标 [x1, y1, x2, y2] x1, y1, x2, y2 coord[bbox_2d] new_x1 int(x1 * scale_x) pad_x new_y1 int(y1 * scale_y) pad_y new_x2 int(x2 * scale_x) pad_x new_y2 int(y2 * scale_y) pad_y scaled_coords.append({ bbox_2d: [new_x1, new_y1, new_x2, new_y2], label: coord.get(label, ) }) elif point_2d in coord: # 处理点坐标 [x, y] x, y coord[point_2d] new_x int(x * scale_x) pad_x new_y int(y * scale_y) pad_y scaled_coords.append({ point_2d: [new_x, new_y], label: coord.get(label, ) }) return scaled_coords def enhance_image_quality(self, image): 提升图像质量以利于Qwen2.5-VL的视觉理解 # 转换为PIL Image如果还不是 if not isinstance(image, Image.Image): image Image.fromarray(image) # 对比度增强 enhancer ImageEnhance.Contrast(image) image enhancer.enhance(1.1) # 锐化 enhancer ImageEnhance.Sharpness(image) image enhancer.enhance(1.2) # 亮度微调 enhancer ImageEnhance.Brightness(image) image enhancer.enhance(1.05) return image # 使用示例 processor QwenImageProcessor(target_size(1024, 1024)) # 假设我们有一张原始图片和对应的坐标数据 original_coords [ {bbox_2d: [50, 100, 200, 300], label: product}, {bbox_2d: [300, 50, 450, 200], label: price_tag} ] # 处理图像并更新坐标 processed_img, updated_coords processor.resize_and_normalize( original_image.jpg, original_coords ) if processed_img: processed_img.save(processed_image.jpg) print(处理后的坐标:, updated_coords)3.2 文本信息的结构化提取Qwen2.5-VL在OCR和文档解析方面表现出色但前提是训练数据中的文本信息要以结构化方式呈现。我的做法是创建一个文本区域提取器它不仅能获取文本内容还能精确记录其在页面中的位置信息。这个提取器的关键创新在于它模拟了Qwen2.5-VL的坐标系统使用绝对像素坐标而非相对位置并且保持坐标值与图像分辨率的一致性。这样在后续训练时模型就能直接学习到文本内容和空间位置之间的关联关系。我还特别关注多语言文本的处理。在爬取国际电商网站时经常遇到中英混合、阿拉伯数字和特殊符号共存的情况。通过集成多个OCR引擎的对比结果可以显著提高文本识别的准确率。比如中文用PaddleOCR英文用Tesseract再用规则引擎进行后处理。import pytesseract from PIL import Image import re class QwenTextExtractor: def __init__(self): # 配置Tesseract路径如果需要 # pytesseract.pytesseract.tesseract_cmd r/usr/bin/tesseract pass def extract_text_regions(self, image_path, coords_listNone): 从图像中提取文本区域及其位置信息 try: # 使用PIL打开图像 with Image.open(image_path) as img: # 如果提供了坐标列表只在指定区域进行OCR if coords_list: text_regions [] for i, coord in enumerate(coords_list): if bbox_2d in coord: x1, y1, x2, y2 coord[bbox_2d] # 确保坐标在图像范围内 x1 max(0, min(x1, img.width)) y1 max(0, min(y1, img.height)) x2 max(0, min(x2, img.width)) y2 max(0, min(y2, img.height)) if x2 x1 and y2 y1: # 截取区域 region img.crop((x1, y1, x2, y2)) # OCR识别 text self._ocr_region(region) if text.strip(): text_regions.append({ text: text.strip(), bbox_2d: [x1, y1, x2, y2], label: coord.get(label, fregion_{i}) }) return text_regions else: # 全图OCR获取每个文本块的位置 return self._full_image_ocr(img) except Exception as e: print(f文本提取失败 {image_path}: {e}) return [] def _ocr_region(self, region_image): 对单个区域进行OCR识别 try: # 使用Tesseract进行OCR # 配置参数以提高准确率 custom_config r--oem 3 --psm 6 -c tessedit_char_whitelist0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ.,;:!?()[]{}-_/\\\ text pytesseract.image_to_string( region_image, configcustom_config, langchi_simeng ) return text except: return def _full_image_ocr(self, image): 全图OCR获取每个文本块的详细信息 try: # 使用Tesseract数据输出格式 data pytesseract.image_to_data( image, output_typepytesseract.Output.DICT, langchi_simeng ) text_regions [] n_boxes len(data[level]) for i in range(n_boxes): # 过滤掉置信度低的结果 if int(data[conf][i]) 60: # 置信度阈值 (x, y, w, h) (data[left][i], data[top][i], data[width][i], data[height][i]) text data[text][i].strip() if text and len(text) 2: # 过滤短文本 text_regions.append({ text: text, bbox_2d: [x, y, xw, yh], confidence: int(data[conf][i]), block_num: data[block_num][i], par_num: data[par_num][i] }) return text_regions except Exception as e: print(f全图OCR失败: {e}) return [] def clean_text_content(self, text): 清理文本内容使其更适合Qwen2.5-VL训练 # 移除多余空白字符 text re.sub(r\s, , text) text text.strip() # 标准化标点符号 text text.replace(, ,).replace(。, .).replace(, !).replace(, ?) text text.replace(“, ).replace(”, ).replace(‘, ).replace(’, ) # 处理特殊符号 text re.sub(r[^\w\s\.\,\!\?\;\:\\], , text) return text # 使用示例 extractor QwenTextExtractor() # 从已处理的图像中提取文本 text_regions extractor.extract_text_regions( processed_image.jpg, [ {bbox_2d: [100, 150, 300, 200], label: product_name}, {bbox_2d: [100, 220, 300, 270], label: price} ] ) for region in text_regions: cleaned_text extractor.clean_text_content(region[text]) print(f区域 {region[label]}: {cleaned_text} - {region[bbox_2d]})4. 数据标注生成Qwen2.5-VL原生支持的JSON格式4.1 构建Qwen2.5-VL友好的标注体系Qwen2.5-VL的标注格式与其他视觉语言模型有显著不同它使用绝对坐标而非相对坐标支持点标注和边界框标注的混合使用并且要求JSON输出格式严格遵循特定结构。我设计了一套标注转换器能够将各种来源的标注数据人工标注、半自动标注、其他格式的标注文件转换为Qwen2.5-VL原生支持的格式。这套标注体系的核心是三个关键概念视觉元素Visual Elements、语义描述Semantic Descriptions和空间关系Spatial Relations。视觉元素包括图像、文本块、表格等语义描述提供这些元素的含义空间关系则定义它们在页面中的相对位置。在实际项目中我发现最有效的标注策略是分层标注第一层标注图像中的主要对象第二层标注对象的属性第三层标注对象之间的关系。比如在商品详情页第一层标注商品主图第二层标注图中的品牌logo、产品型号等细节第三层标注这些细节相对于主图的位置关系。import json from datetime import datetime class QwenAnnotationGenerator: def __init__(self): self.annotation_schema { version: 1.0, model: Qwen2.5-VL, created_at: , source: , metadata: {} } def generate_qwen_format(self, raw_data, image_pathNone): 将原始数据转换为Qwen2.5-VL原生JSON格式 annotation self.annotation_schema.copy() annotation[created_at] datetime.now().isoformat() annotation[source] raw_data.get(source, web_crawling) # 构建视觉元素列表 visual_elements [] # 处理图像元素 if raw_data.get(images): for img_info in raw_data[images]: visual_elements.append({ type: image, url: img_info.get(url, ), position: img_info.get(position, {}), alt_text: img_info.get(alt_text, ), title: img_info.get(title, ) }) # 处理文本区域 if raw_data.get(text_regions): for text_info in raw_data[text_regions]: visual_elements.append({ type: text, content: text_info.get(text, ), position: text_info.get(position, {}), bbox_2d: text_info.get(bbox_2d, []), confidence: text_info.get(confidence, 100) }) # 处理表格 if raw_data.get(tables): for table_info in raw_data[tables]: visual_elements.append({ type: table, html: table_info.get(html, ), position: table_info.get(position, {}), bbox_2d: table_info.get(bbox_2d, []) }) # 构建Qwen2.5-VL特有的结构化输出 qwen_output { visual_elements: visual_elements, structured_output: self._generate_structured_output(raw_data), qwenvl_html: self._generate_qwenvl_html(raw_data) } annotation[qwen_format] qwen_output return annotation def _generate_structured_output(self, raw_data): 生成Qwen2.5-VL结构化输出格式 structured [] # 从文本区域生成结构化数据 if raw_data.get(text_regions): for text_info in raw_data[text_regions]: if price in text_info.get(text, ).lower(): structured.append({ type: price, value: self._extract_price(text_info.get(text, )), position: text_info.get(bbox_2d, []) }) elif model in text_info.get(text, ).lower() or 型号 in text_info.get(text, ): structured.append({ type: model_number, value: self._extract_model_number(text_info.get(text, )), position: text_info.get(bbox_2d, []) }) # 从图像信息生成结构化数据 if raw_data.get(images): for img_info in raw_data[images]: if img_info.get(alt_text): structured.append({ type: image_description, value: img_info[alt_text], position: img_info.get(position, {}) }) return structured def _generate_qwenvl_html(self, raw_data): 生成QwenVL HTML格式用于文档解析训练 html_parts [htmlbody] # 添加图像元素 if raw_data.get(images): for i, img_info in enumerate(raw_data[images]): position img_info.get(position, {}) if position: bbox self._position_to_bbox(position) html_parts.append(fdiv classimage>