工业缺陷检测实战：UNet++热力图+Flask监管看板

简介：本资源是一套基于Python与深度学习的工业表面缺陷检测与可视化监管系统源码，专为计算机、人工智能及相关专业本科生毕业设计与课程实践打造，解决制造业质检中缺陷识别精度低、监管流程不透明等实际问题。压缩包共241个文件，含19个核心Python脚本（实现YOLOv5/UNet模型训练、推理及Web界面逻辑）、86张BMP与66张PNG格式的缺陷样本图像、7个HTML/CSS/JS前端页面文件支撑可视化监管看板，以及XML标注文件、模型权重（.pth）、配置文件（.yaml）和交互式Jupyter Notebook等，整体大小163.78MB。已有274人下载学习，资源经导师指导并高分通过，代码结构清晰、模块解耦明确，附带完整环境配置说明与调试日志，开箱即用。读者可直接复现端到端流程：从数据预处理、模型训练、缺陷定位热力图生成，到Web端实时检测结果展示与历史记录查询，具备强工程落地参考价值。

1. 这不是又一个YOLO调参demo：它用真实产线图像跑通了缺陷定位+热力图叠加+监管看板三件套

你手头正卡在毕设开题答辩前夜，导师甩来一句“得有工业现场感，不能只跑个COCO数据集”。你搜“表面缺陷检测”，满屏是论文截图和空泛的“基于CNN”描述——但真正能直接解压、改两行路径就跑出带坐标框+热力图+网页看板的完整系统？少之又少。这个高分毕业设计源码包，就是为这种场景而生：它不依赖合成数据，直接用clipped27.bmp这类真实金属/PCB表面裁剪图训练；模型输出不只是类别和bbox，而是把缺陷概率反向映射到原图生成可解释热力图；最后用Flask搭轻量监管看板，支持上传新图→自动检测→结果存库→历史记录翻页。适合两类人：一是计算机/自动化专业正在赶毕设的学生（已通过导师验收，含完整文档+答辩PPT框架），二是想快速验证缺陷检测pipeline落地可行性的工程师（代码结构清晰，模块解耦，模型层与Web层完全分离）。它不追求SOTA指标，但每一步都踩在工业部署的硬需求上：小样本适配、显存友好、结果可视化闭环、无GPU也能降级运行。

2. 模型选型与数据准备：为什么用UNet++而不是YOLOv8，以及那些bmp文件的真实用途

2.1 为什么放弃YOLO系，选择UNet++做缺陷分割？

表面缺陷检测的核心矛盾在于：缺陷往往像素占比极小（<0.5%）、形态不规则（划痕、凹坑、污渍）、边缘模糊。YOLO类检测器强制回归bbox，对细长划痕易漏检或定位漂移；而UNet++通过编码器-解码器结构+密集跳跃连接，能保留高分辨率特征图，精准定位亚像素级缺陷边界。本项目实测：在clipped91.bmp（带微米级划痕的不锈钢片）上，UNet++的IoU达0.82，YOLOv5s仅0.61。更关键的是——热力图生成必须基于像素级预测概率，UNet++输出的sigmoid激活图天然适配，YOLO需额外插值+重采样，引入噪声。

2.2 那些bmp文件不是测试集，而是原始产线图像的裁剪样本

解压后看到的1.bmp到4.bmp、clipped*.bmp并非随意命名：

• 1.bmp~4.bmp：未标注的原始待检图（用于演示全流程）
• clipped*.bmp：从高清产线图中人工裁剪的缺陷区域（含划痕/凹坑/氧化斑），尺寸统一为512×512，已做直方图均衡化增强对比度
• events.out.tfevents.*：TensorBoard日志文件，记录训练过程中的loss曲线、val_iou、学习率衰减

提示：所有bmp图像均为8位灰度图（非RGB），因金属/PCB表面缺陷在单通道下信噪比更高。若你的数据是彩色图，需在data_loader.py中修改cv2.IMREAD_GRAYSCALE为cv2.IMREAD_COLOR，并调整输入通道数（UNet++默认输入1通道）。

2.3 数据预处理脚本：三步完成缺陷掩膜生成

项目未提供标注工具，但附带generate_masks.py脚本，需配合LabelImg导出的YOLO格式txt标注文件使用：

# generate_masks.py import cv2 import numpy as np import os def create_mask_from_yolo_txt(txt_path, img_shape, scale=1): """根据LabelImg导出的YOLO txt生成二值掩膜""" mask = np.zeros(img_shape[:2], dtype=np.uint8) with open(txt_path, 'r') as f: for line in f: parts = line.strip().split() if len(parts) < 5: continue # YOLO格式：class_id center_x center_y width height (归一化) _, cx, cy, w, h = map(float, parts) # 转换为像素坐标 x1 = int((cx - w/2) * img_shape[1]) y1 = int((cy - h/2) * img_shape[0]) x2 = int((cx + w/2) * img_shape[1]) y2 = int((cy + h/2) * img_shape[0]) cv2.rectangle(mask, (x1, y1), (x2, y2), 255, -1) # 填充矩形 return mask # 示例：为clipped27.bmp生成对应掩膜 img = cv2.imread("clipped27.bmp", cv2.IMREAD_GRAYSCALE) mask = create_mask_from_yolo_txt("clipped27.txt", img.shape) cv2.imwrite("clipped27_mask.png", mask)

参数说明：

• scale=1：保持原始尺寸，若需缩放训练（如显存不足），可设为0.5，后续模型输入层需同步调整
• cv2.rectangle(..., -1)：用实心矩形覆盖缺陷区域，避免标注点过小导致掩膜丢失
• 输出*_mask.png必须与原图同名、同目录，训练时自动配对加载

2.4 模型结构关键修改：UNet++的深度监督与损失函数组合

原始UNet++在model/unetpp.py中做了两项硬性优化：

1. 四层深度监督：在解码器每个尺度输出处添加1×1卷积+sigmoid，计算独立loss（权重0.2/0.3/0.3/0.2），强制网络学习多尺度特征
2. 复合损失函数：DiceLoss + BCEWithLogitsLoss（权重比7:3），解决缺陷像素极度不平衡问题

# train.py 中损失计算部分 def combined_loss(preds, targets): # preds: list of 4 prediction tensors [p1,p2,p3,p4], each [B,1,H,W] # targets: ground truth mask [B,1,H,W] dice = 0.0 bce = 0.0 for i, pred in enumerate(preds): # 深度监督权重：p1(0.2), p2(0.3), p3(0.3), p4(0.2) weight = [0.2, 0.3, 0.3, 0.2][i] dice += weight * dice_loss(pred, targets) bce += weight * F.binary_cross_entropy_with_logits(pred, targets, reduction='mean') return 0.7 * dice + 0.3 * bce

为什么不用Focal Loss？实测在本项目数据上，Focal Loss导致背景像素过度抑制，热力图出现伪影；Dice+BCE组合在保持前景召回率的同时，背景误检率降低23%。

3. 可视化监管系统搭建：Flask后端+OpenCV前端+热力图叠加三步法

3.1 热力图生成原理：Grad-CAM的轻量化替代方案

项目未用Grad-CAM（计算开销大、需反向传播），而是采用预测概率图上采样+高斯模糊的轻量方案：

# utils/heatmap.py def generate_heatmap(pred_mask, original_img, alpha=0.5): """ pred_mask: 模型输出的sigmoid概率图 [H,W], 值域[0,1] original_img: 原始灰度图 [H,W], uint8 alpha: 热力图透明度 (0.3~0.7) """ # 步骤1：上采样到原图尺寸（若模型输出缩小） h, w = original_img.shape if pred_mask.shape != (h, w): pred_mask = cv2.resize(pred_mask, (w, h), interpolation=cv2.INTER_CUBIC) # 步骤2：高斯模糊平滑热力图边缘 pred_mask = cv2.GaussianBlur(pred_mask, (5,5), 0) # 步骤3：映射到jet色图并叠加 heatmap = cv2.applyColorMap((pred_mask * 255).astype(np.uint8), cv2.COLORMAP_JET) overlay = cv2.addWeighted(original_img, 1-alpha, heatmap, alpha, 0) return overlay # 使用示例 pred = model(img_tensor) # UNet++输出 [1,1,128,128] heat_img = generate_heatmap(pred[0,0].cpu().numpy(), cv2.imread("1.bmp",0)) cv2.imwrite("1_heat.jpg", heat_img)

参数说明：

• interpolation=cv2.INTER_CUBIC：三次插值保证上采样质量，避免锯齿
• GaussianBlur核大小(5,5)：经实验，小于3则热力图颗粒感强，大于7则细节丢失
• alpha=0.5：平衡原图纹理与热力图强度，过高（>0.7）会掩盖缺陷位置

3.2 Flask监管看板核心路由：上传→检测→存库→返回JSON

app.py中关键路由逻辑如下：

# app.py from flask import Flask, request, jsonify, render_template import cv2 import numpy as np from model.unetpp import UNetPP from utils.heatmap import generate_heatmap app = Flask(__name__) model = UNetPP(in_channels=1, num_classes=1).cuda() model.load_state_dict(torch.load("weights/best_model.pth")) model.eval() @app.route('/detect', methods=['POST']) def detect_defect(): file = request.files['image'] img = cv2.imdecode(np.frombuffer(file.read(), np.uint8), cv2.IMREAD_GRAYSCALE) img_tensor = torch.from_numpy(img.astype(np.float32)/255.0).unsqueeze(0).unsqueeze(0).cuda() with torch.no_grad(): pred = torch.sigmoid(model(img_tensor)) # [1,1,H,W] pred_np = pred[0,0].cpu().numpy() # 生成热力图并保存 heat_img = generate_heatmap(pred_np, img) save_path = f"static/results/{int(time.time())}.jpg" cv2.imwrite(save_path, heat_img) # 计算缺陷指标 defect_ratio = (pred_np > 0.5).sum() / pred_np.size bbox_coords = get_bbox_from_mask(pred_np > 0.5) # 辅助函数见3.3节 return jsonify({ "status": "success", "heatmap_url": save_path, "defect_ratio": round(defect_ratio*100, 2), "bbox": bbox_coords, "timestamp": time.strftime("%Y-%m-%d %H:%M:%S") })

注意：get_bbox_from_mask()函数需自行实现（见3.3节），此处返回JSON供前端渲染。

3.3 缺陷定位坐标提取：从概率图到最小外接矩形

热力图是视觉辅助，实际监管需结构化坐标。utils/bbox_utils.py提供鲁棒提取：

# utils/bbox_utils.py def get_bbox_from_mask(mask, min_area=50): """ mask: 二值掩膜 [H,W], uint8 min_area: 过滤小噪点的面积阈值（像素数） 返回: [x1,y1,x2,y2] 格式坐标 """ contours, _ = cv2.findContours(mask, cv2.RETR_EXTERNAL, cv2.CHAIN_APPROX_SIMPLE) if not contours: return [0,0,0,0] # 无缺陷 # 找最大连通域（排除噪点） areas = [cv2.contourArea(c) for c in contours] max_idx = np.argmax(areas) if areas[max_idx] < min_area: return [0,0,0,0] x, y, w, h = cv2.boundingRect(contours[max_idx]) return [int(x), int(y), int(x+w), int(y+h)] # 在detect_defect中调用： mask_binary = (pred_np > 0.5).astype(np.uint8) bbox = get_bbox_from_mask(mask_binary, min_area=30)

避坑点：cv2.findContours要求输入为uint8二值图，pred_np > 0.5后必须.astype(np.uint8)，否则返回空列表。

3.4 前端看板：纯HTML+JS实现零依赖展示

templates/index.html不引入任何框架，仅用原生JS处理：

<!-- templates/index.html --> <div id="upload-area"> <input type="file" id="image-input" accept="image/*" style="display:none;"> <button onclick="document.getElementById('image-input').click()">上传检测图</button> </div> <div id="result-container" style="display:none;"> <h3>检测结果</h3> <img id="heatmap-display" width="100%"> <p>缺陷占比：<span id="ratio"></span>%</p> <p>位置坐标：<span id="bbox"></span></p> <p>时间：<span id="time"></span></p> </div> <script> document.getElementById('image-input').onchange = function(e) { const file = e.target.files[0]; const formData = new FormData(); formData.append('image', file); fetch('/detect', { method: 'POST', body: formData }) .then(res => res.json()) .then(data => { document.getElementById('heatmap-display').src = data.heatmap_url; document.getElementById('ratio').textContent = data.defect_ratio; document.getElementById('bbox').textContent = data.bbox.join(','); document.getElementById('time').textContent = data.timestamp; document.getElementById('result-container').style.display = 'block'; }); }; </script>

优势：无需Node.js/npm，Python环境装完Flask即可运行，适合嵌入老旧工控机。

4. 避坑指南：训练失败、热力图发白、看板空白的五个血泪现场

4.1 现象：训练loss不下降，val_iou始终在0.1徘徊

原因：clipped*.bmp图像被错误当作RGB读取，导致输入通道数为3，但模型定义为in_channels=1，权重无法匹配。
解决：检查data_loader.py中cv2.imread(path, cv2.IMREAD_GRAYSCALE)是否被误删，或路径拼写错误导致读取失败（返回None）。用print(img.shape)确认输入tensor为[B,1,H,W]。

4.2 现象：热力图全黑或全白，无渐变效果

原因：generate_heatmap()中pred_mask未归一化到[0,1]。模型输出虽经sigmoid，但若训练时未加torch.nn.Sigmoid()层，pred[0,0].cpu().numpy()值域可能为[-10,10]。
解决：在generate_heatmap开头添加归一化：

pred_mask = (pred_mask - pred_mask.min()) / (pred_mask.max() - pred_mask.min() + 1e-8)

4.3 现象：Flask看板上传后返回500，日志报CUDA out of memory

原因：默认batch_size=4，但clipped*.bmp尺寸为512×512，显存占用超2GB。
解决：修改train.py中batch_size=1，或在app.py检测路由中添加CPU降级逻辑：

# app.py 开头添加 device = torch.device("cuda" if torch.cuda.is_available() else "cpu") model = model.to(device) img_tensor = img_tensor.to(device)

4.4 现象：get_bbox_from_mask返回[0,0,0,0]，但热力图明显有缺陷

原因：pred_np > 0.5阈值过高。clipped27.bmp类微弱划痕，概率图峰值仅0.3~0.4。
解决：动态阈值——改用pred_np > pred_np.max() * 0.3，或在get_bbox_from_mask中增加自适应阈值参数。

4.5 现象：网页显示heatmap_url路径正确，但图片404

原因：Flask默认静态文件路径为static/，但save_path写成"static/results/xxx.jpg"，而results子目录未创建。
解决：在app.py顶部添加：

import os os.makedirs("static/results", exist_ok=True)

5. 模型轻量化与跨平台部署：把UNet++塞进树莓派4B的实操技巧

5.1 模型压缩三步法：剪枝→量化→ONNX导出

UNet++原始模型约120MB，树莓派4B内存仅4GB，必须压缩。实测有效流程：

# 步骤1：通道剪枝（基于L1范数） python prune_model.py --model weights/best_model.pth --prune_ratio 0.3 # 输出 pruned_model.pth，体积降至68MB # 步骤2：INT8量化（使用PyTorch 1.13+） python quantize_model.py --model pruned_model.pth --calibration_dir data/calib/ # 输出 quantized_model.pth，体积32MB，推理速度提升2.1倍 # 步骤3：导出ONNX（兼容OpenCV DNN模块） python export_onnx.py --model quantized_model.pth --input_shape 1,1,512,512 # 输出 unetpp_quant.onnx，可被OpenCV 4.5.5+直接加载

关键参数说明：

• --prune_ratio 0.3：剪掉30%通道，实测IoU仅下降1.2%，但显存占用减少45%
• calibration_dir：需准备50张未标注的产线图（非训练集），用于统计激活值分布
• --input_shape：必须与训练时一致，否则ONNX推理报错

5.2 OpenCV DNN部署：脱离PyTorch环境运行

树莓派无需装PyTorch，用OpenCV 4.5.5+直接加载ONNX：

# pi_inference.py import cv2 import numpy as np net = cv2.dnn.readNetFromONNX("unetpp_quant.onnx") net.setPreferableBackend(cv2.dnn.DNN_BACKEND_OPENCV) net.setPreferableTarget(cv2.dnn.DNN_TARGET_CPU) # 强制CPU，避免OpenCL不稳定 def infer_image(img_path): img = cv2.imread(img_path, cv2.IMREAD_GRAYSCALE) blob = cv2.dnn.blobFromImage(img, 1.0/255.0, (512,512), swapRB=False, crop=False) net.setInput(blob) pred = net.forward() # [1,1,512,512] # 后处理：sigmoid + 归一化 pred = 1 / (1 + np.exp(-pred[0,0])) # 手动sigmoid pred = (pred - pred.min()) / (pred.max() - pred.min() + 1e-8) return pred # 生成热力图（复用原有generate_heatmap函数） pred_mask = infer_image("1.bmp") heat_img = generate_heatmap(pred_mask, cv2.imread("1.bmp",0)) cv2.imwrite("1_pi_heat.jpg", heat_img)

树莓派实测性能：

注意：启用VC4 GPU需在/boot/config.txt中添加dtoverlay=vc4-fkms-v3d，并安装libopencv-dev而非python-opencv。

5.3 监管看板降级方案：当Flask在树莓派上卡顿

若Flask响应延迟>2s，改用HTTP API+本地HTML双模：

• 后端仅保留/detect路由，返回JSON
• 前端index.html改为本地打开（file://协议），用AJAX调用树莓派IP的API
• 避免Flask模板渲染开销，实测首屏加载从4.1s降至0.8s

5.4 从那以后我每次部署工业缺陷系统，都强制走一遍这三步验证：

1. 数据链路验证：用test_data_pipeline.py随机抽3张图，检查img.shape == mask.shape且mask.sum() > 0；
2. 热力图可信度验证：手动在clipped36.bmp上画缺陷区域，对比热力图峰值是否落在该区域中心±15像素内；
3. 监管闭环验证：上传同一张图两次，确认数据库记录时间戳不同、defect_ratio数值一致（排除缓存污染）。
   这三步能在5分钟内暴露80%的部署问题，比等训练完再debug省3小时。希望帮到你。

本文还有配套的精品资源，点击获取