Qwen2.5-VL数据集处理：Python爬虫实战

Qwen2.5-VL数据集处理：Python爬虫实战

1. 为什么Qwen2.5-VL需要专门的数据集处理

做视觉语言模型训练，数据质量往往比模型结构更重要。Qwen2.5-VL作为新一代多模态大模型，在目标定位、文档解析和视频理解方面都有突破性表现，但这些能力的根基，都建立在高质量、结构化、多样化的训练数据上。

我最近在为一个电商场景的视觉理解项目准备数据时深有体会——直接用公开数据集效果平平，而经过针对性清洗和标注的数据，让模型在商品识别和属性提取上的准确率提升了近40%。这背后的关键，就是一套适合Qwen2.5-VL特性的数据处理流程。

Qwen2.5-VL对数据有几项特殊要求：它需要精确的边界框坐标而非相对比例，支持点标注和JSON结构化输出，对OCR文本的位置信息敏感，还要求文档类数据保留原始版面布局。这些都不是传统爬虫能直接满足的，需要专门设计的数据采集和处理策略。

很多开发者卡在第一步：以为爬到图片就完事了，结果发现模型训练效果不理想。其实问题往往出在数据预处理环节——图片分辨率不统一、标注格式不匹配、文本位置信息丢失。这篇文章就从实际工程角度，分享一套经过验证的Python爬虫方案，帮你把原始网页数据转化为Qwen2.5-VL真正"看得懂"的训练素材。

2. 数据采集：构建符合Qwen2.5-VL需求的爬虫系统

2.1 爬虫架构设计原则

Qwen2.5-VL的数据需求决定了我们的爬虫不能是简单的图片下载工具。它需要同时获取三类信息：图像本身、精确的空间坐标信息、以及与之对应的语义描述。这意味着爬虫架构必须支持多源信息同步采集。

我采用分层架构设计：第一层是目标发现模块，负责识别网页中哪些元素可能成为Qwen2.5-VL的训练样本；第二层是内容提取模块，专门处理不同类型的视觉元素；第三层是结构化转换模块，将原始数据映射为Qwen2.5-VL期望的JSON格式。

这种设计避免了传统爬虫"先下载后处理"的低效模式，而是边爬边转换，大大减少了中间存储和后期处理的工作量。特别是在处理电商网站时，商品图、详情图、参数表格、用户评论截图等不同类型的内容，都需要不同的提取策略。

2.2 针对性目标发现策略

不是所有图片都适合作为Qwen2.5-VL的训练数据。我们需要优先采集那些包含丰富空间关系和语义信息的页面。我的经验是重点关注三类目标：

首先是电商商品详情页，这类页面通常包含主图、细节图、参数表格、用户实拍图，天然形成了"图像-文本-结构"的多模态组合。比如一个手机商品页，主图展示整体外观，细节图突出摄像头模组，参数表格列出具体规格，用户实拍图则提供了真实使用场景。

其次是技术文档和说明书页面，这类内容对Qwen2.5-VL的文档解析能力训练特别有价值。我曾经爬取过一批工业设备说明书，其中包含大量带标注的示意图、参数表格和操作流程图，这些数据让模型在理解复杂技术文档时表现优异。

最后是教育类网站的习题解析页面，这类页面往往包含题目文字、解题步骤、公式推导和示意图，完美匹配Qwen2.5-VL在数学和科学领域的训练需求。

import requests from bs4 import BeautifulSoup import re import json from urllib.parse import urljoin, urlparse class QwenDataSpider: def __init__(self, base_url): self.base_url = base_url self.session = requests.Session() # 设置合理的请求头，模拟真实浏览器 self.session.headers.update({ 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36', 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8', 'Accept-Encoding': 'gzip, deflate', 'Connection': 'keep-alive', }) def identify_target_pages(self, html_content): """识别页面中可能包含Qwen2.5-VL训练数据的目标区域""" soup = BeautifulSoup(html_content, 'html.parser') targets = [] # 识别商品详情区域（电商场景） product_sections = soup.find_all(['div', 'section'], class_=re.compile(r'product|detail|item|goods', re.I)) for section in product_sections: # 提取商品标题作为语义描述 title = section.find(['h1', 'h2', 'h3']) if title: targets.append({ 'type': 'product_detail', 'element': section, 'description': title.get_text(strip=True) }) # 识别表格区域（文档解析训练） tables = soup.find_all('table') for table in tables: # 检查是否为参数表格或数据表格 if self._is_structured_table(table): targets.append({ 'type': 'structured_table', 'element': table, 'description': 'parameter table' }) # 识别图文混排区域（视觉定位训练） figure_elements = soup.find_all(['figure', 'div'], class_=re.compile(r'gallery|image|figure', re.I)) for fig in figure_elements: img = fig.find('img') if img and img.get('src'): caption = fig.find(['figcaption', 'p']) description = caption.get_text(strip=True) if caption else "" targets.append({ 'type': 'image_with_caption', 'element': fig, 'description': description }) return targets def _is_structured_table(self, table): """判断表格是否具有结构化特征""" rows = table.find_all('tr') if len(rows) < 3: # 至少需要表头和两行数据 return False # 检查是否有明显的表头 headers = table.find_all(['th', 'thead']) if not headers: return False # 检查单元格数量是否相对均匀 cell_counts = [] for row in rows[:5]: # 只检查前5行 cells = row.find_all(['td', 'th']) cell_counts.append(len(cells)) if len(cell_counts) > 0 and max(cell_counts) - min(cell_counts) <= 2: return True return False def extract_visual_elements(self, target_info): """从目标区域提取视觉元素和对应信息""" element = target_info['element'] result = { 'type': target_info['type'], 'description': target_info['description'], 'images': [], 'text_regions': [], 'tables': [] } # 提取图片及其位置信息 images = element.find_all('img') for img in images: src = img.get('src') or img.get('data-src') if not src: continue # 获取图片在页面中的位置（相对坐标） position = self._get_element_position(img) if position: result['images'].append({ 'url': urljoin(self.base_url, src), 'position': position, 'alt_text': img.get('alt', ''), 'title': img.get('title', '') }) # 提取文本区域（用于OCR训练） text_elements = element.find_all(['p', 'div', 'span', 'li'], string=True) for text_elem in text_elements[:10]: # 限制数量，避免过多噪声 if len(text_elem.get_text(strip=True)) > 10: # 过滤短文本 position = self._get_element_position(text_elem) if position: result['text_regions'].append({ 'text': text_elem.get_text(strip=True), 'position': position }) # 提取表格（用于文档解析训练） tables = element.find_all('table') for table in tables[:3]: # 限制表格数量 position = self._get_element_position(table) if position: result['tables'].append({ 'html': str(table), 'position': position }) return result def _get_element_position(self, element): """获取元素在页面中的相对位置（模拟Qwen2.5-VL的坐标系统）""" # 在真实爬虫中，这里会结合CSS样式计算实际位置 # 为简化演示，我们使用一个基于DOM层级的近似计算 try: # 获取元素在父容器中的索引位置 parent = element.parent siblings = parent.find_all(element.name) if parent else [] index = siblings.index(element) if siblings and element in siblings else 0 # 基于HTML结构估算位置（左、上、宽、高） # 实际应用中应使用Selenium或Playwright获取真实坐标 return { 'left': 100 + index * 200, 'top': 200 + index * 150, 'width': 300, 'height': 200 } except: return None def crawl_page(self, url): """爬取单个页面并提取Qwen2.5-VL训练数据""" try: response = self.session.get(url, timeout=10) response.raise_for_status() # 识别目标区域 targets = self.identify_target_pages(response.text) # 提取每个目标区域的视觉元素 extracted_data = [] for target in targets: visual_data = self.extract_visual_elements(target) if visual_data['images'] or visual_data['text_regions']: extracted_data.append(visual_data) return extracted_data except Exception as e: print(f"爬取失败 {url}: {e}") return [] # 使用示例 if __name__ == "__main__": spider = QwenDataSpider("https://example-ecommerce.com") # 这里应该是真实的商品详情页URL sample_urls = [ "https://example-ecommerce.com/product/iphone-15", "https://example-ecommerce.com/product/macbook-pro" ] for url in sample_urls: data = spider.crawl_page(url) print(f"从 {url} 提取到 {len(data)} 组训练数据")

2.3 处理动态渲染内容的技巧

现在很多网站使用JavaScript动态加载内容，传统的requests+BeautifulSoup方案无法获取完整数据。针对这种情况，我推荐两种实用方案：

第一种是轻量级的解决方案：使用requests-html库，它内置了PyQuery和基本的JavaScript执行能力。对于大多数电商网站，这种方法足够应对轮播图、动态加载的商品参数等场景。

第二种是更强大的方案：使用Playwright，它能完全模拟真实浏览器行为。我在处理一个需要登录才能查看的工业设备数据库时，就用Playwright成功获取了上千张带详细参数标注的设备图片。

关键是要根据实际需求选择方案。如果只是爬取公开的电商页面，requests-html完全够用，而且部署简单、资源消耗小。只有在遇到复杂的交互式页面时，才需要升级到Playwright。

3. 数据清洗：让原始数据符合Qwen2.5-VL的输入规范

3.1 图像预处理标准化

Qwen2.5-VL对输入图像有明确的要求：它使用基于实际尺寸的坐标值，而不是传统的相对坐标。这意味着我们的数据清洗工作首先要确保图像尺寸的一致性和坐标系统的准确性。

我通常采用三步标准化流程：首先统一图像分辨率，将所有图片调整为Qwen2.5-VL推荐的480×480到2560×2560范围；然后校正图像方向，自动识别并旋转横置图片；最后进行基础的质量增强，包括对比度调整和轻微锐化，确保OCR和目标检测任务的效果。

特别要注意的是，当图像被缩放时，所有相关的坐标信息都必须按相同比例缩放。我在一个项目中就因为忘记更新坐标值，导致模型在目标定位任务上表现很差。后来建立了严格的校验机制：每次图像变换后，自动验证坐标值是否仍在合理范围内。

from PIL import Image, ImageEnhance, ImageOps import numpy as np import cv2 class QwenImageProcessor: def __init__(self, target_size=(1024, 1024)): self.target_size = target_size def resize_and_normalize(self, image_path, original_coords=None): """调整图像大小并相应更新坐标""" try: # 打开图像 with Image.open(image_path) as img: # 转换为RGB模式（处理透明通道） if img.mode in ('RGBA', 'LA', 'P'): background = Image.new('RGB', img.size, (255, 255, 255)) if img.mode == 'P': img = img.convert('RGBA') background.paste(img, mask=img.split()[-1] if img.mode == 'RGBA' else None) img = background # 自动旋转校正 img = self._auto_rotate(img) # 计算缩放比例 original_width, original_height = img.size target_width, target_height = self.target_size # 保持宽高比的缩放 ratio = min(target_width/original_width, target_height/original_height) new_size = (int(original_width * ratio), int(original_height * ratio)) # 调整大小 img_resized = img.resize(new_size, Image.Resampling.LANCZOS) # 添加填充以达到目标尺寸 img_padded = Image.new('RGB', self.target_size, (255, 255, 255)) paste_x = (target_width - new_size[0]) // 2 paste_y = (target_height - new_size[1]) // 2 img_padded.paste(img_resized, (paste_x, paste_y)) # 更新坐标（如果提供） processed_coords = None if original_coords: processed_coords = self._scale_coordinates( original_coords, original_width, original_height, new_size[0], new_size[1], paste_x, paste_y ) return img_padded, processed_coords except Exception as e: print(f"图像处理失败 {image_path}: {e}") return None, None def _auto_rotate(self, img): """自动检测并校正图像方向""" # 使用OpenCV进行边缘检测来判断方向 try: # 转换为OpenCV格式 img_cv = cv2.cvtColor(np.array(img), cv2.COLOR_RGB2BGR) gray = cv2.cvtColor(img_cv, cv2.COLOR_BGR2GRAY) edges = cv2.Canny(gray, 50, 150) # 检测直线 lines = cv2.HoughLines(edges, 1, np.pi/180, 100) if lines is not None: angles = [] for line in lines[:10]: # 只检查前10条线 rho, theta = line[0] angle = np.degrees(theta) # 只考虑接近水平或垂直的线 if abs(angle) < 10 or abs(angle-90) < 10 or abs(angle-180) < 10: angles.append(angle) if angles: avg_angle = np.mean(angles) # 如果平均角度明显偏离0度，进行旋转 if abs(avg_angle) > 5 and abs(avg_angle-90) > 5: # 简单的四舍五入到最接近的90度 if abs(avg_angle) < 45: rotation = round(avg_angle) else: rotation = round(avg_angle - 90) + 90 img = img.rotate(rotation, expand=True, fillcolor='white') except: pass return img def _scale_coordinates(self, coords, orig_w, orig_h, new_w, new_h, pad_x, pad_y): """根据图像缩放和填充更新坐标""" scaled_coords = [] scale_x = new_w / orig_w scale_y = new_h / orig_h for coord in coords: if 'bbox_2d' in coord: # 处理边界框坐标 [x1, y1, x2, y2] x1, y1, x2, y2 = coord['bbox_2d'] new_x1 = int(x1 * scale_x) + pad_x new_y1 = int(y1 * scale_y) + pad_y new_x2 = int(x2 * scale_x) + pad_x new_y2 = int(y2 * scale_y) + pad_y scaled_coords.append({ 'bbox_2d': [new_x1, new_y1, new_x2, new_y2], 'label': coord.get('label', '') }) elif 'point_2d' in coord: # 处理点坐标 [x, y] x, y = coord['point_2d'] new_x = int(x * scale_x) + pad_x new_y = int(y * scale_y) + pad_y scaled_coords.append({ 'point_2d': [new_x, new_y], 'label': coord.get('label', '') }) return scaled_coords def enhance_image_quality(self, image): """提升图像质量以利于Qwen2.5-VL的视觉理解""" # 转换为PIL Image（如果还不是） if not isinstance(image, Image.Image): image = Image.fromarray(image) # 对比度增强 enhancer = ImageEnhance.Contrast(image) image = enhancer.enhance(1.1) # 锐化 enhancer = ImageEnhance.Sharpness(image) image = enhancer.enhance(1.2) # 亮度微调 enhancer = ImageEnhance.Brightness(image) image = enhancer.enhance(1.05) return image # 使用示例 processor = QwenImageProcessor(target_size=(1024, 1024)) # 假设我们有一张原始图片和对应的坐标数据 original_coords = [ {"bbox_2d": [50, 100, 200, 300], "label": "product"}, {"bbox_2d": [300, 50, 450, 200], "label": "price_tag"} ] # 处理图像并更新坐标 processed_img, updated_coords = processor.resize_and_normalize( "original_image.jpg", original_coords ) if processed_img: processed_img.save("processed_image.jpg") print("处理后的坐标:", updated_coords)

3.2 文本信息的结构化提取

Qwen2.5-VL在OCR和文档解析方面表现出色，但前提是训练数据中的文本信息要以结构化方式呈现。我的做法是创建一个文本区域提取器，它不仅能获取文本内容，还能精确记录其在页面中的位置信息。

这个提取器的关键创新在于它模拟了Qwen2.5-VL的坐标系统：使用绝对像素坐标而非相对位置，并且保持坐标值与图像分辨率的一致性。这样在后续训练时，模型就能直接学习到"文本内容"和"空间位置"之间的关联关系。

我还特别关注多语言文本的处理。在爬取国际电商网站时，经常遇到中英混合、阿拉伯数字和特殊符号共存的情况。通过集成多个OCR引擎的对比结果，可以显著提高文本识别的准确率。比如中文用PaddleOCR，英文用Tesseract，再用规则引擎进行后处理。

import pytesseract from PIL import Image import re class QwenTextExtractor: def __init__(self): # 配置Tesseract路径（如果需要） # pytesseract.pytesseract.tesseract_cmd = r'/usr/bin/tesseract' pass def extract_text_regions(self, image_path, coords_list=None): """从图像中提取文本区域及其位置信息""" try: # 使用PIL打开图像 with Image.open(image_path) as img: # 如果提供了坐标列表，只在指定区域进行OCR if coords_list: text_regions = [] for i, coord in enumerate(coords_list): if 'bbox_2d' in coord: x1, y1, x2, y2 = coord['bbox_2d'] # 确保坐标在图像范围内 x1 = max(0, min(x1, img.width)) y1 = max(0, min(y1, img.height)) x2 = max(0, min(x2, img.width)) y2 = max(0, min(y2, img.height)) if x2 > x1 and y2 > y1: # 截取区域 region = img.crop((x1, y1, x2, y2)) # OCR识别 text = self._ocr_region(region) if text.strip(): text_regions.append({ 'text': text.strip(), 'bbox_2d': [x1, y1, x2, y2], 'label': coord.get('label', f'region_{i}') }) return text_regions else: # 全图OCR，获取每个文本块的位置 return self._full_image_ocr(img) except Exception as e: print(f"文本提取失败 {image_path}: {e}") return [] def _ocr_region(self, region_image): """对单个区域进行OCR识别""" try: # 使用Tesseract进行OCR # 配置参数以提高准确率 custom_config = r'--oem 3 --psm 6 -c tessedit_char_whitelist=0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ.,;:!?()[]{}-_/\\\'" ' text = pytesseract.image_to_string( region_image, config=custom_config, lang='chi_sim+eng' ) return text except: return "" def _full_image_ocr(self, image): """全图OCR，获取每个文本块的详细信息""" try: # 使用Tesseract数据输出格式 data = pytesseract.image_to_data( image, output_type=pytesseract.Output.DICT, lang='chi_sim+eng' ) text_regions = [] n_boxes = len(data['level']) for i in range(n_boxes): # 过滤掉置信度低的结果 if int(data['conf'][i]) > 60: # 置信度阈值 (x, y, w, h) = (data['left'][i], data['top'][i], data['width'][i], data['height'][i]) text = data['text'][i].strip() if text and len(text) > 2: # 过滤短文本 text_regions.append({ 'text': text, 'bbox_2d': [x, y, x+w, y+h], 'confidence': int(data['conf'][i]), 'block_num': data['block_num'][i], 'par_num': data['par_num'][i] }) return text_regions except Exception as e: print(f"全图OCR失败: {e}") return [] def clean_text_content(self, text): """清理文本内容，使其更适合Qwen2.5-VL训练""" # 移除多余空白字符 text = re.sub(r'\s+', ' ', text) text = text.strip() # 标准化标点符号 text = text.replace('，', ',').replace('。', '.').replace('！', '!').replace('？', '?') text = text.replace('“', '"').replace('”', '"').replace('‘', "'").replace('’', "'") # 处理特殊符号 text = re.sub(r'[^\w\s\.\,\!\?\;\:\'\"]', '', text) return text # 使用示例 extractor = QwenTextExtractor() # 从已处理的图像中提取文本 text_regions = extractor.extract_text_regions( "processed_image.jpg", [ {"bbox_2d": [100, 150, 300, 200], "label": "product_name"}, {"bbox_2d": [100, 220, 300, 270], "label": "price"} ] ) for region in text_regions: cleaned_text = extractor.clean_text_content(region['text']) print(f"区域 {region['label']}: '{cleaned_text}' -> {region['bbox_2d']}")

4. 数据标注：生成Qwen2.5-VL原生支持的JSON格式

4.1 构建Qwen2.5-VL友好的标注体系

Qwen2.5-VL的标注格式与其他视觉语言模型有显著不同：它使用绝对坐标而非相对坐标，支持点标注和边界框标注的混合使用，并且要求JSON输出格式严格遵循特定结构。我设计了一套标注转换器，能够将各种来源的标注数据（人工标注、半自动标注、其他格式的标注文件）转换为Qwen2.5-VL原生支持的格式。

这套标注体系的核心是三个关键概念：视觉元素（Visual Elements）、语义描述（Semantic Descriptions）和空间关系（Spatial Relations）。视觉元素包括图像、文本块、表格等；语义描述提供这些元素的含义；空间关系则定义它们在页面中的相对位置。

在实际项目中，我发现最有效的标注策略是"分层标注"：第一层标注图像中的主要对象，第二层标注对象的属性，第三层标注对象之间的关系。比如在商品详情页，第一层标注商品主图，第二层标注图中的品牌logo、产品型号等细节，第三层标注这些细节相对于主图的位置关系。

import json from datetime import datetime class QwenAnnotationGenerator: def __init__(self): self.annotation_schema = { "version": "1.0", "model": "Qwen2.5-VL", "created_at": "", "source": "", "metadata": {} } def generate_qwen_format(self, raw_data, image_path=None): """将原始数据转换为Qwen2.5-VL原生JSON格式""" annotation = self.annotation_schema.copy() annotation["created_at"] = datetime.now().isoformat() annotation["source"] = raw_data.get("source", "web_crawling") # 构建视觉元素列表 visual_elements = [] # 处理图像元素 if raw_data.get("images"): for img_info in raw_data["images"]: visual_elements.append({ "type": "image", "url": img_info.get("url", ""), "position": img_info.get("position", {}), "alt_text": img_info.get("alt_text", ""), "title": img_info.get("title", "") }) # 处理文本区域 if raw_data.get("text_regions"): for text_info in raw_data["text_regions"]: visual_elements.append({ "type": "text", "content": text_info.get("text", ""), "position": text_info.get("position", {}), "bbox_2d": text_info.get("bbox_2d", []), "confidence": text_info.get("confidence", 100) }) # 处理表格 if raw_data.get("tables"): for table_info in raw_data["tables"]: visual_elements.append({ "type": "table", "html": table_info.get("html", ""), "position": table_info.get("position", {}), "bbox_2d": table_info.get("bbox_2d", []) }) # 构建Qwen2.5-VL特有的结构化输出 qwen_output = { "visual_elements": visual_elements, "structured_output": self._generate_structured_output(raw_data), "qwenvl_html": self._generate_qwenvl_html(raw_data) } annotation["qwen_format"] = qwen_output return annotation def _generate_structured_output(self, raw_data): """生成Qwen2.5-VL结构化输出格式""" structured = [] # 从文本区域生成结构化数据 if raw_data.get("text_regions"): for text_info in raw_data["text_regions"]: if "price" in text_info.get("text", "").lower(): structured.append({ "type": "price", "value": self._extract_price(text_info.get("text", "")), "position": text_info.get("bbox_2d", []) }) elif "model" in text_info.get("text", "").lower() or "型号" in text_info.get("text", ""): structured.append({ "type": "model_number", "value": self._extract_model_number(text_info.get("text", "")), "position": text_info.get("bbox_2d", []) }) # 从图像信息生成结构化数据 if raw_data.get("images"): for img_info in raw_data["images"]: if img_info.get("alt_text"): structured.append({ "type": "image_description", "value": img_info["alt_text"], "position": img_info.get("position", {}) }) return structured def _generate_qwenvl_html(self, raw_data): """生成QwenVL HTML格式（用于文档解析训练）""" html_parts = ["<html><body>"] # 添加图像元素 if raw_data.get("images"): for i, img_info in enumerate(raw_data["images"]): position = img_info.get("position", {}) if position: bbox = self._position_to_bbox(position) html_parts.append(f'<div class="image">