简介：NEU-DET钢材表面缺陷数据集围绕钢铁生产中的质量检测需求构建，专注于裂纹、腐蚀、氧化皮、凹坑、划痕等常见缺陷的识别，适合计算机视觉、深度学习方向的科研人员、算法工程师及相关专业学生使用。资源共2000个文件，其中JPG图像提供真实钢材表面样本，XML与TXT文件分别对应目标检测与YOLO训练所需的边界框标注信息；额外附带的PY脚本（如xml2yolo.py）用于标注格式转换，YAML文件可配置训练环境，整个压缩包约26.68MB。该数据集已有4933人学习下载。数据集提供了带详实边界框标注的图像样本，可直接用于训练Faster R-CNN、YOLO等目标检测模型，借助配套脚本能快速完成数据预处理与格式统一。通过该资源，使用者还能系统练习图像预处理、训练集/验证集划分、模型评估等关键环节，为工业智能质检方案的落地提供坚实的数据支撑。 第一次打开NEU-DET压缩包的人，十个里有八个会怀疑自己是不是下错了数据：1800张图、200×200像素、灰度BMP，没有想象中工业大图的气势，文件夹也朴素得不像一个“著名数据集”。但恰恰是这批图，撑起了过去十来年钢材表面缺陷检测论文里一大半的对比实验。NEU-DET来自东北大学，全称是NEU surface defect DETection dataset，内容是热轧带钢表面缺陷，覆盖六类常见瑕疵，每类300张，标注格式是Pascal VOC的XML。当年我带着它入门目标检测，后来做工业质检项目预研，用的还是它。这篇分享不聊空泛的算法排名，只讲我在NEU-DET上实际踩过的坑、摸出来的规律，以及它和真实钢板产线之间那道不容易跨过去的坎。
1. NEU-DET是什么级别的数据集：热轧带钢缺陷检测的公共基准
1.1 原始构成与六类缺陷
NEU-DET最早是东北大学在钢材表面缺陷识别研究过程中整理发布的，虽然图像分辨率不高、规模也不算大，但它把“钢材表面缺陷检测”这件事定义得很清楚：每个样本不是单纯给一个类别标签，而是用bounding box标出缺陷的具体位置。这对检测任务来说非常关键，因为工业质检最终要回答的不只是“这块钢有没有问题”，更是“问题在哪里、大概多大、属于什么类型”。
数据集一共1800张灰度图，每类恰好300张。常见六类缺陷分别是：
| 类别英文名 | 中文常见叫法 | 典型外观 | 人眼识别难度 |
|---|---|---|---|
| crazing | 网状裂纹 | 细小、带分叉的裂纹网络，和背景纹理纠缠在一起 | 高 |
| inclusion | 夹杂 | 深色颗粒状或小块状异物嵌入表面，边界不太规则 | 中 |
| patches | 斑块 | 大范围灰度异常区域，边界模糊，有时接近背景灰度 | 中 |
| pitted_surface | 麻点 | 密集小坑、小点，分布不均匀，大小不一 | 高 |
| rolled-in_scale | 氧化铁皮压入 | 块状压入物，通常灰度对比明显、边缘较清晰 | 低 |
| scratches | 划痕 | 线状亮条纹或暗条纹，方向性较强 | 低 |
从这张表就能看出来，NEU-DET在设计上故意保留了一些“难啃的骨头”。crazing这种缺陷，如果拿给完全没经验的人看图，很多人会把它当成正常纹理；pitted_surface则是典型的“小目标密集”场景，单看局部很容易漏。而rolled-in_scale和scratches属于相对友好的类别，早期跑通pipeline时建议先看这两类的效果。
1.2 为什么灰度图反而更适合入门
不少初学者看到“灰度图”三个字会下意识觉得信息量不够，其实在钢材表面缺陷这个场景里，灰度图反而是非常合理的选择。热轧带钢表面的缺陷主要由纹理、形状、灰度突变来体现，彩色信息对判断帮助有限；真实产线用的工业相机也大量是黑白相机，因为灰度传感器在同样分辨率下往往帧率更高、成本更低。NEU-DET用灰度图训练，反而帮你自动屏蔽了色调干扰，让模型把注意力集中在几何纹理特征上，这对理解检测任务本身是有利的。
另外，200×200的分辨率看起来“寒酸”，但有一个实际好处：训练速度快。我当年拿一张入门级显卡跑YOLOv8s，150个epoch也就是一两个小时的事情，迭代实验非常方便。等你把网络结构、数据增强、评估方式都搞明白了，再去挑战更大规模的数据集，思路是通用的。这也是我为什么一直建议，做工业视觉入门，NEU-DET可以作为第一个检测数据集来跑。
2. 打开标注文件后我才发现的几件事
2.1 XML标注结构与解析
NEU-DET的标注是Pascal VOC风格，每张图片对应一个XML文件。随机打开一个，结构是这样的：
<annotation> <folder>NEU-DET</folder> <filename>crazing_1.jpg</filename> <source> <database>NEU-DET</database> </source> <size> <width>200</width> <height>200</height> <depth>1</depth> </size> <object> <name>crazing</name> <bndbox> <xmin>17</xmin> <ymin>39</ymin> <xmax>186</xmax> <ymax>167</ymax> </bndbox> </object> </annotation>注意<depth>1</depth>，这张图是单通道灰度图。有些标注解析库在读取时会默认按三通道处理，后面转成数组或者存成jpg再读入时容易出问题，训练前统一用OpenCV的IMREAD_GRAYSCALE读一遍，或者在数据加载阶段强制转成三通道，都能避免这类低级错误。
2.2 类别不平衡、漏标和划分策略
很多人以为NEU-DET每类300张图，数据是均衡的，其实这是“图片级均衡”，不是“实例级均衡”。我自己统计过一次，把六类XML里的<object>全部数出来，不同类别的bounding box数量差别能到两三倍。像patches、rolled-in_scale这类缺陷在单张图上经常出现多个目标，而crazing、scratches往往一张图只标一两个框。也就是说，虽然每类图片数一样，模型实际能学到的“正样本实例数”是不一样的。
更隐蔽的问题是漏标。NEU-DET整体标注质量在公开数据集里算不错，但依然存在一批图片只标注了最明显的缺陷，其他肉眼可见的区域没有框出来。我印象最深的是某张pitted_surface图片，人眼至少能看到六七个密集麻点区域，XML里只标了两个框。这种漏标对训练有影响，对评估的影响更大——模型如果预测出了“没标”的缺陷，在计算mAP时会被算成false positive，导致指标偏低。
官方没有提供固定的训练/验证/测试划分，这是NEU-DET一个很让人头疼的地方。很多早期开源代码直接按文件名顺序取前240张训练、后60张验证，虽然也能用，但不推荐。因为按顺序切分可能会让某些类别的困难样本集中落在验证集里，导致评估结果不稳。正确做法是按类别分层抽样，比如每类随机取240张训练、30张验证、30张测试，保证每个子集里六类图片比例一致。分层抽样只多写几行代码，但能省掉后续大量“为什么分数忽高忽低”的困惑。
3. 用YOLOv8跑NEU-DET的完整记录
3.1 选型理由：为什么我更推荐单阶段检测器
在NEU-DET上刷榜，很多人会用Faster R-CNN甚至Cascade R-CNN，两阶段检测器在精度上确实有优势，尤其是小目标和密集目标场景。但如果你不是专门做论文对比，而是想快速验证想法、跑通完整流程，我更推荐YOLO系列。原因很直接：训练代码工程量小，数据格式适配方便，推理速度快，后续部署到工业端也容易。
NEU-DET里的目标虽然有些比较小，但图像本身只有200×200，单阶段网络完全兜得住。我试过YOLOv8s、YOLOv8m和Faster R-CNN，在相同训练设置下，YOLOv8s的mAP50已经能到0.8以上，训练时间却只有Faster R-CNN的零头。工程预研阶段，时间成本是很重要的指标，YOLO明显更适合。
3.2 数据格式转换与训练配置
YOLO系列用的是txt格式标注，每行代表一个目标：类别ID、归一化中心点x、中心点y、宽度w、高度h。VOC转YOLO的脚本网上很多，我自己习惯写一个简洁版本：
import xml.etree.ElementTree as ET import os classes = ["crazing", "inclusion", "patches", "pitted_surface", "rolled-in_scale", "scratches"] def voc_to_yolo(xml_path, out_path): tree = ET.parse(xml_path) root = tree.getroot() w = int(root.find("size/width").text) h = int(root.find("size/height").text) lines = [] for obj in root.iter("object"): name = obj.find("name").text if name not in classes: continue box = obj.find("bndbox") xmin = int(box.find("xmin").text) ymin = int(box.find("ymin").text) xmax = int(box.find("xmax").text) ymax = int(box.find("ymax").text) cx = ((xmin + xmax) / 2) / w cy = ((ymin + ymax) / 2) / h bw = (xmax - xmin) / w bh = (ymax - ymin) / h lines.append(f"{classes.index(name)} {cx:.6f} {cy:.6f} {bw:.6f} {bh:.6f}") with open(out_path, "w") as f: f.write("\n".join(lines)) xml_dir = "NEU-DET/annotations" out_dir = "NEU-DET/labels" os.makedirs(out_dir, exist_ok=True) for xml_name in os.listdir(xml_dir): if xml_name.endswith(".xml"): voc_to_yolo(os.path.join(xml_dir, xml_name), os.path.join(out_dir, xml_name.replace(".xml", ".txt")))转换完标注，再准备一个数据集描述文件：
# neu-det.yaml path: ./NEU-DET train: images/train val: images/val names: 0: crazing 1: inclusion 2: patches 3: pitted_surface 4: rolled-in_scale 5: scratches然后直接开训：
from ultralytics import YOLO model = YOLO("yolov8s.pt") model.train( data="neu-det.yaml", epochs=150, imgsz=640, batch=16, lr0=0.01, patience=30, )这段配置看起来简单，但里面有几个点值得展开说。
3.3 实测中的几个典型现象
第一个现象：imgsz的选择对结果影响很大。NEU-DET原始图只有200×200，有人图省事直接以imgsz=200训练，结果mAP50会掉到0.7以下。原因在于YOLOv8这类网络多次下采样之后，特征图分辨率本来就不高，原图200×200经过32倍下采样只剩6×6的网格，小目标很容易被压没。我试过把输入缩放到320、480、640三种尺寸，640的mAP50明显更高。但代价是训练和推理速度变慢，工业场景如果对帧率敏感，建议用480做折中。
第二个现象：mosaic数据增强不总是友好。Ultralytics默认开启mosaic，把4张图拼接成一张新图。这个增强在大多数检测数据集上有效，但在NEU-DET上要留意。因为原图本身尺寸小，mosaic拼接后目标在图中的相对尺寸进一步缩小，容易让模型学到错误的尺度信息。Ultralytics默认会在最后10个epoch关闭mosaic做微调，这个机制是好的；如果你自己写训练脚本，建议也保留类似设置。
第三个现象：类别不平衡直接影响收敛速度。我在训练初期就发现，scratches和rolled-in_scale的loss降得很快，crazing却一直在高位徘徊。简单地对loss加权提升不明显，因为crazing难在特征本身和背景太像，不是简单加权重能解决的。更务实的做法是保证验证集里crazing的样本量充足，同时在数据增强里对这类图做更多裁剪增强。
4. 指标、难度排序与典型误检
4.1 怎么读mAP和混淆矩阵
NEU-DET的论文和开源项目里，最常见的评估指标是mAP50，也就是IoU阈值0.5时的平均精度。这个指标对定位要求比较宽松，框稍微偏一点也能算对。如果你只报mAP50，YOLOv8s在合理划分下跑到0.85并不稀奇。但实际部署时，IoU达到0.5的框往往不能用，现场要求定位更准，所以一定要同时看mAP50-95。NEU-DET上mAP50-95通常比mAP50低20到30个百分点，这是正常现象，别慌。
读混淆矩阵比只看mAP更有价值。mAP告诉你“平均做得怎么样”，混淆矩阵告诉你“哪两类容易分不清”。这在工业场景里非常重要，因为不同缺陷的处理方式完全不同：scratches可能只需要报警和标记，而rolled-in_scale一旦漏检可能影响后续轧制工艺。
4.2 六类缺陷的难度差异
我多次实验下来，六类缺陷的难度排序大致是：
crazing > pitted_surface > inclusion ≈ patches > scratches ≈ rolled-in_scale
crazing稳坐最难的位置。它呈现为细碎裂纹网，本身和热轧带钢的纹理背景非常相似，人眼都需要仔细辨认，模型更容易把它和背景纹理混淆，也容易误检出一堆不存在的碎裂纹。pitted_surface难点在“密”和“小”，一个框里可能包含几十个麻点，模型无法精确定位每一个，导致预测框数量与真实框数量对不上，AP被拉低。
相对简单的是scratches和rolled-in_scale。scratches有清晰的线性边缘，rolled-in_scale灰度对比度高、形状块状化，特征鲜明，模型很容易学。如果某个模型在NEU-DET上整体mAP很低，先看这两类的AP高不高，如果连它们都不高，说明训练流程本身有问题，而不是数据集难。
4.3 常见误检和它们的成因
我自己跑出来的误检主要集中在三个类型：
第一，patches和inclusion互相混淆。两者都是灰度异常区域，区别在于patches边界更模糊、面积更大，inclusion通常更小更暗。当inclusion尺寸偏大时，模型很容易把它归成patches。我的应对办法是在后处理里对这两类的置信度阈值做差异化设置，inclusion阈值调高一点，减少低置信度误检。
第二，crazing的虚警。模型会在正常背景纹理上预测出大量细小的crazing框，这些框往往置信度不高但数量很多。与其调阈值，不如检查一下crazing类的anchor匹配情况，小目标分布多的话，需要确保特征图上有足够的锚点覆盖。YOLOv8虽然不用手工anchor，但可以调整检测头在不同尺度特征图上的权重，让更细粒度的特征图对crazing这类缺陷更敏感。
第三，验证集漏标导致的“假错误”。有一次我训练完看某类AP异常低，打开验证集图片逐张核对，发现一张图实际有3个缺陷，标注文件里只标了1个。模型预测的另外两个缺陷一出来就被判成false positive，AP自然被拉低。所以评估前花半小时抽看验证集，能省掉大量无效调参时间。判断一个模型好坏，光看指标不够，一定要可视化预测结果，一张一张看。
5. NEU-DET与真实钢板产线之间的距离
5.1 学术数据集的三层失真
很多人在NEU-DET上拿到不错的指标，就以为可以直接搬到工厂里用，现实往往是当场翻车。我总结了三层失真。
第一层是数据规模失真。1800张图对学术研究来说足够跑通算法，但对工业落地来说只是起步量。现场光照变化、相机抖动、钢板速度波动、水雾油污干扰，这些因素组合起来需要的样本量远超1800张。
第二层是场景多样性失真。NEU-DET的图来自相对固定的采集环境，灰度范围、缺陷形态都偏理想化。真实产线换一个钢种、换一个光照角度，数据分布就变了，模型精度会明显下降。这就是典型的domain shift问题，公开数据集上分数越高，换到现场往往掉得越狠。
第三层是类别分布失真。NEU-DET里六类缺陷各占六分之一，刻意均衡了。产线上完全不是这样，有些缺陷一个月都遇不到几次，数据极度不均衡。模型在均衡数据上学到的先验概率，到了真实场景并不适用。
5.2 让NEU-DET服务工业落地的三种用法
虽然NEU-DET不能直接作为工业测试集，但它是很好的预训练和增强素材。我实际用过的三种方式：
第一种，把NEU-DET当作预训练数据。先在NEU-DET上训练一个初始模型，再用现场采集的小批量真实缺陷图做微调。因为NEU-DET教会了模型“钢材表面缺陷长什么样”，迁移到新场景只需要适应光照和纹理差异，收敛速度和最终精度都比从COCO预训练权重直接微调好。
第二种，把NEU-DET图混入训练集做背景多样性补充。现场缺陷样本不足时，把NEU-DET图片按一定比例混进去，和真实样本一起训练。比例我一般控制在30%以内，太高会让模型偏向公开数据分布。这里注意要把图片统一转成三通道RGB，虽然内容灰度不变，但能避免管道里数据类型不一致的报错。
第三种，用NEU-DET做数据增强的实验场。现场数据宝贵，不能在真机上乱试增强策略。我习惯先在NEU-DET上验证哪种增强组合有效，比如随机亮度扰动、高斯模糊、随机裁切，再把这套增强管道迁移到现场数据上。这样既保护了真实样本，又能快速迭代增强方案。
说到底，NEU-DET更适合当“练功房”，而不是“角斗场”。我在实际项目中最大的体会是，公开数据集的价值不在于刷出一个漂亮数字，而在于帮你把数据集解析、训练流程、评估方法、误检分析这一整套方法练熟。这套方法拿到任何产线数据上都用得上。如果你也正在跑NEU-DET，我建议先别急着训练，把三百张crazing图片从头到尾手动翻一遍，半小时不到，但对这个任务难在哪里的理解，会比直接看mAP深刻得多。
本文还有配套的精品资源，点击获取
