1. 项目背景与核心价值
中药材识别一直是中医药领域的痛点问题。传统鉴别主要依赖药师经验，存在主观性强、效率低下等缺陷。我在大四实习期间发现，许多基层药房常因药材混淆导致用药事故。这个毕业设计正是为了解决这个实际问题——通过CNN实现中药材的智能鉴别。
选择Python作为开发语言主要基于三点考量：一是其丰富的机器学习生态（TensorFlow/Keras）；二是OpenCV等图像处理库成熟；三是便于快速原型开发。项目采用ResNet18改进模型，在自建的中药材图像数据集上达到了92.3%的Top-1准确率。
2. 技术方案设计
2.1 数据采集与处理
从三个渠道构建数据集：
- 实地拍摄：使用华为Mate40 Pro在标准光照条件下采集412种常见药材（各50张）
- 公开数据集：整合TCM-ID数据库的3,200张标注图像
- 数据增强：通过旋转（±15°）、亮度调节（0.8-1.2倍）、添加高斯噪声（σ=0.01）扩充至8万张
关键细节：所有图像统一处理为224×224分辨率，并采用LAB色彩空间进行白平衡校正
2.2 模型架构优化
基础CNN结构存在梯度消失问题，改进方案：
def build_model(input_shape=(224,224,3)): base = ResNet18(weights=None, include_top=False) x = base.output x = GlobalAvgPool2D()(x) x = Dense(512, activation='swish')(x) x = Dropout(0.5)(x) return Model(inputs=base.input, outputs=Dense(412, activation='softmax')(x))创新点：
- 使用Swish激活函数替代ReLU（β=1.0）
- 引入Label Smoothing（ε=0.1）缓解过拟合
- 采用Focal Loss（γ=2.0）处理类别不平衡
3. 关键实现步骤
3.1 环境配置
推荐使用conda创建虚拟环境：
conda create -n herb python=3.8 conda install -c conda-forge tensorflow-gpu=2.6 opencv pillow3.2 特征工程
发现药材边缘纹理是关键特征，创新性采用：
- 多尺度LBP特征融合（半径=1,3,5）
- 频域分析：对DCT系数取前20%作为辅助特征
- 颜色直方图（HSV空间16bin）
3.3 训练技巧
- 使用Cyclical LR（base_lr=1e-4, max_lr=1e-3）
- 早停策略（patience=15）
- 混合精度训练（FP16）
4. 实际应用验证
在合作药房部署时遇到两个典型问题：
案例1：当归与独活混淆
- 现象：模型将独活误判为当归（概率68%）
- 分析：二者断面纹理相似度达83%
- 解决方案：增加局部纹理放大增强（ROI聚焦）
案例2：光照条件影响
- 现象：阴天拍摄时准确率下降12%
- 解决：开发HDR预处理模块，动态调整gamma值
5. 性能优化记录
通过TensorRT加速后：
| 设备 | 原推理速度(ms) | 优化后(ms) | 内存占用(MB) |
|---|---|---|---|
| Jetson Nano | 210 | 58 | 780→320 |
| RTX 3060 | 45 | 11 | 2100→850 |
关键优化点：
- 层融合（Conv+BN+ReLU）
- INT8量化（校准集500张）
- 自定义插件处理非标准OP
6. 工程化建议
- 数据标注工具：推荐使用CVAT替代LabelImg（支持视频帧标注）
- 部署方案：考虑使用FastAPI封装模型（比Flask吞吐量高3倍）
- 持续学习：开发主动学习模块（不确定性采样策略）
这个项目最深的体会是：传统领域与AI结合时，必须深入理解业务细节。比如发现某些药材需要特定角度拍摄（如根茎类需横纵切面），这些经验远比调参技巧重要。后续计划加入近红外光谱数据融合，进一步提升鉴别精度。
