一、项目介绍
摘要
本项目开发了一个基于YOLOv8深度学习算法的药物识别与检测系统,旨在通过计算机视觉技术实现对8种不同药物的自动识别与分类。系统针对的药物类别包括:Cipro 500、Ibuphil 600 mg、Ibuphil Cold 400-60、Xyzall 5mg以及四种颜色标识药物(蓝色、粉色、红色和白色)。通过YOLOv8这一先进的实时目标检测算法,系统能够快速准确地识别药物种类,为医疗健康领域提供了一种高效可靠的药物识别解决方案。该系统不仅能够识别药物的具体名称和规格,还能识别基于颜色的药物分类,展现了较强的实用性和适应性。在医疗错误频发的背景下,这一技术有望显著减少因药物混淆导致的医疗事故,提高用药安全性和医疗服务质量。
项目意义
1. 医疗安全与错误预防
药物识别系统在医疗领域具有重大意义。据统计,全球每年因药物错误导致的伤害事件数量惊人,其中很大比例是由于药物混淆或识别错误造成的。本项目能够准确区分外观相似但成分和功效完全不同的药物(如Ibuphil 600 mg与Ibuphil Cold 400-60),有效防止因视觉混淆导致的用药错误,保障患者安全。
2. 智能化医疗辅助
在医疗机构日常运作中,药物识别是一项耗时且容易出错的工作。本系统可实现药物的快速自动识别,大大减轻医护人员的工作负担,提高工作效率。特别是在急诊、药房等高压环境下,系统能够提供即时准确的药物信息,辅助医疗决策。
3. 老年人及特殊人群用药辅助
对于老年人、视障人士或需要长期服用多种药物的慢性病患者,本系统可以开发为移动应用,帮助他们准确识别药物,确保按时按量服用正确药品,提高用药依从性,避免因错误用药导致的健康风险。
4. 药物管理数字化
系统为药物管理提供了数字化解决方案,可集成到医院的药品管理系统中,实现药品入库、分发、使用全流程的自动化记录和追踪,提升医疗机构药物管理水平,减少人为错误和管理漏洞。
5. 技术验证与扩展潜力
本项目验证了YOLOv8算法在药物识别领域的适用性,为更广泛的医疗物品识别提供了技术参考。系统架构可扩展用于识别更多药物种类或其他医疗用品,具有广阔的应用前景。未来可结合AR技术、智能药盒等硬件设备,构建更完整的智能用药生态系统。
6. 数据集与模型贡献
项目构建了一个专业数据集,为后续相关研究提供了宝贵资源。训练完成的YOLOv8模型在药物识别任务上表现出色,可作为该领域研究的基准模型,促进医疗AI技术的进一步发展。
综上所述,本项目不仅具有直接的实用价值,能够解决现实中的药物识别问题,还为医疗健康领域的智能化发展提供了技术支持和创新思路,具有重要的社会意义和应用前景。
目录
一、项目介绍
摘要
项目意义
1. 医疗安全与错误预防
2. 智能化医疗辅助
3. 老年人及特殊人群用药辅助
4. 药物管理数字化
5. 技术验证与扩展潜力
6. 数据集与模型贡献
二、项目功能展示
系统功能
图片检测
视频检测
摄像头实时检测
三、数据集介绍
数据集概述
数据集特点
数据集配置文件
数据集制作流程
四、项目环境配置
创建虚拟环境
pycharm中配置anaconda
安装所需要库
五、模型训练
训练代码
训练结果
六、核心代码编辑
七、项目源码(视频简介内)
基于深度学习YOLOv8的药物识别检测系统(YOLOv8+YOLO数据集+UI界面+Python项目源码+模型)_哔哩哔哩_bilibili
基于深度学习YOLOv8的药物识别检测系统(YOLOv8+YOLO数据集+UI界面+Python项目源码+模型)
二、项目功能展示
系统功能
✅图片检测:可对图片进行检测,返回检测框及类别信息。
✅视频检测:支持视频文件输入,检测视频中每一帧的情况。
✅摄像头实时检测:连接USB 摄像头,实现实时监测。
✅参数实时调节(置信度和IoU阈值)
图片检测
该功能允许用户通过单张图片进行目标检测。输入一张图片后,YOLO模型会实时分析图像,识别出其中的目标,并在图像中框出检测到的目标,输出带有目标框的图像。批量图片检测
用户可以一次性上传多个图片进行批量处理。该功能支持对多个图像文件进行并行处理,并返回每张图像的目标检测结果,适用于需要大规模处理图像数据的应用场景。
视频检测
视频检测功能允许用户将视频文件作为输入。YOLO模型将逐帧分析视频,并在每一帧中标记出检测到的目标。最终结果可以是带有目标框的视频文件或实时展示,适用于视频监控和分析等场景。
摄像头实时检测
该功能支持通过连接摄像头进行实时目标检测。YOLO模型能够在摄像头拍摄的实时视频流中进行目标检测,实时识别并显示检测结果。此功能非常适用于安防监控、无人驾驶、智能交通等应用,提供即时反馈。
核心特点:
- 高精度:基于YOLO模型,提供精确的目标检测能力,适用于不同类型的图像和视频。
- 实时性:特别优化的算法使得实时目标检测成为可能,无论是在视频还是摄像头实时检测中,响应速度都非常快。
- 批量处理:支持高效的批量图像和视频处理,适合大规模数据分析。
三、数据集介绍
数据集概述
本项目构建了一个专业级的药物检测数据集,主要特性如下:
总规模:451张高分辨率药物图像
训练集:316张
验证集:90张
测试集:45张
类别分布:
特定药品(5类)
Cipro 500
Ibuphil 600 mg
Ibuphil Cold 400-60
Xyzall 5mg
其他特定药品
颜色分类(3类)
blue(蓝色)
pink(粉色)
red(红色)
white(白色)
数据来源:
真实药品在受控环境下的专业拍摄
医疗机构提供的药品样本图像
模拟药房环境的拍摄数据
标注格式:
采用YOLO格式的txt标注文件
每个文件包含对应图像中所有药品的类别和精确边界框信息
同时记录药品的完整外观特征和文字标识
数据集特点
专业性强:
所有图像均由专业人员按照药品拍摄规范采集
包含药品的正面、反面、侧面等多角度图像
特别关注药品标识文字、刻痕、颜色等关键特征
挑战性高:
包含大量小尺寸目标
存在外观相似的药品(如不同剂量的同种药品)
模拟真实场景中的重叠、遮挡情况
不同光照条件下的药品图像(特别是对颜色识别的影响)
标注精细:
边界框精确贴合药品边缘
对药品上的文字、标识等关键特征进行特别标注
区分药品的正反面不同外观
记录药品在泡罩包装中的状态
场景多样:
单一药品特写图像
多药品混合场景
不同背景条件下的药品图像
模拟药柜、药盒等实际应用场景
质量控制严格:
每张图像经过药学专业人员审核
标注结果由多名标注员交叉验证
定期进行数据集质量评估和更新
数据集配置文件
数据集采用YOLO格式:
train: F:\药物检测数据集\train\images val: F:\药物检测数据集\valid\images test: F:\药物检测数据集\test\images nc: 8 names: ['Cipro 500', 'Ibuphil 600 mg', 'Ibuphil Cold 400-60', 'Xyzall 5mg', 'blue', 'pink', 'red', 'white']数据集制作流程
数据采集规划:
与药学专家合作确定关键药物类别和特征
制定详细的拍摄规范和场景清单
设计覆盖所有目标类别的采集方案
专业图像采集:
使用专业摄影设备
在标准化光照箱中进行主体拍摄
采用多角度拍摄方案
控制拍摄距离保持比例一致性
模拟实际应用场景
数据预处理:
统一调整为标准尺寸
白平衡和色彩校正
生成多尺度版本以适应不同检测需求
去除个人隐私信息(如手部特征等)
专业标注流程:
第一阶段:由药学专业人员进行药品识别和分类
第二阶段:标注团队使用Label Studio进行边界框标注
第三阶段:质量团队验证标注准确性
特殊处理:
对药品文字标识区域进行额外标注
记录药品的特殊特征(刻痕、印记等)
标注遮挡程度等级
数据增强策略:
几何变换:随机旋转、缩放
颜色扰动:模拟不同光照条件下的药品外观
高级增强:
模拟药瓶反光效果
添加合理程度的运动模糊
生成部分遮挡样本
合成数据:在合理范围内生成药品排列组合图像
数据集划分与验证:
采用分层抽样确保各类别比例一致
保证同一药品的不同角度分布在同一个子集中
最终由药学专家进行临床相关性验证
通过基线模型测试数据集质量
持续维护计划:
定期添加新药品类别
根据用户反馈扩展困难样本
更新标注标准以适应新发现的识别需求
版本控制管理数据集变更
四、项目环境配置
创建虚拟环境
首先新建一个Anaconda环境,每个项目用不同的环境,这样项目中所用的依赖包互不干扰。
终端输入
conda create -n yolov8 python==3.9
激活虚拟环境
conda activate yolov8
安装cpu版本pytorch
pip install torch torchvision torchaudio
pycharm中配置anaconda
安装所需要库
pip install -r requirements.txt
五、模型训练
训练代码
from ultralytics import YOLO model_path = 'yolov8s.pt' data_path = 'datasets/data.yaml' if __name__ == '__main__': model = YOLO(model_path) results = model.train(data=data_path, epochs=500, batch=64, device='0', workers=0, project='runs/detect', name='exp', )根据实际情况更换模型 yolov8n.yaml (nano):轻量化模型,适合嵌入式设备,速度快但精度略低。 yolov8s.yaml (small):小模型,适合实时任务。 yolov8m.yaml (medium):中等大小模型,兼顾速度和精度。 yolov8b.yaml (base):基本版模型,适合大部分应用场景。 yolov8l.yaml (large):大型模型,适合对精度要求高的任务。
--batch 64:每批次64张图像。--epochs 500:训练500轮。--datasets/data.yaml:数据集配置文件。--weights yolov8s.pt:初始化模型权重,yolov8s.pt是预训练的轻量级YOLO模型。
训练结果
六、核心代码![]()
from PyQt5 import QtCore, QtGui, QtWidgets from PyQt5.QtCore import Qt, QTimer from PyQt5.QtGui import QImage, QPixmap, QIcon from PyQt5.QtWidgets import (QFileDialog, QMessageBox, QTableWidgetItem, QStyledItemDelegate, QHeaderView) import cv2 import numpy as np from ultralytics import YOLO import os import datetime import sys class CenteredDelegate(QStyledItemDelegate): def initStyleOption(self, option, index): super().initStyleOption(option, index) option.displayAlignment = Qt.AlignCenter class Ui_MainWindow(object): def setupUi(self, MainWindow): MainWindow.setObjectName("MainWindow") MainWindow.resize(1400, 900) MainWindow.setWindowTitle("YOLOv8 目标检测系统") # 设置窗口图标 if hasattr(sys, '_MEIPASS'): icon_path = os.path.join(sys._MEIPASS, 'icon.ico') else: icon_path = 'icon.ico' if os.path.exists(icon_path): MainWindow.setWindowIcon(QIcon(icon_path)) self.centralwidget = QtWidgets.QWidget(MainWindow) self.centralwidget.setObjectName("centralwidget") # 主布局 self.main_layout = QtWidgets.QHBoxLayout(self.centralwidget) self.main_layout.setContentsMargins(10, 10, 10, 10) self.main_layout.setSpacing(15) # 左侧布局 (图像显示) self.left_layout = QtWidgets.QVBoxLayout() self.left_layout.setSpacing(15) # 原始图像组 self.original_group = QtWidgets.QGroupBox("原始图像") self.original_group.setMinimumHeight(400) self.original_img_label = QtWidgets.QLabel() self.original_img_label.setAlignment(QtCore.Qt.AlignCenter) self.original_img_label.setText("等待加载图像...") self.original_img_label.setStyleSheet("background-color: #F0F0F0; border: 1px solid #CCCCCC;") original_layout = QtWidgets.QVBoxLayout() original_layout.addWidget(self.original_img_label) self.original_group.setLayout(original_layout) self.left_layout.addWidget(self.original_group) # 检测结果图像组 self.result_group = QtWidgets.QGroupBox("检测结果") self.result_group.setMinimumHeight(400) self.result_img_label = QtWidgets.QLabel() self.result_img_label.setAlignment(QtCore.Qt.AlignCenter) self.result_img_label.setText("检测结果将显示在这里") self.result_img_label.setStyleSheet("background-color: #F0F0F0; border: 1px solid #CCCCCC;") result_layout = QtWidgets.QVBoxLayout() result_layout.addWidget(self.result_img_label) self.result_group.setLayout(result_layout) self.left_layout.addWidget(self.result_group) self.main_layout.addLayout(self.left_layout, stretch=3) # 右侧布局 (控制面板) self.right_layout = QtWidgets.QVBoxLayout() self.right_layout.setSpacing(15) # 模型选择组 self.model_group = QtWidgets.QGroupBox("模型设置") self.model_group.setStyleSheet("QGroupBox { font-weight: bold; }") self.model_layout = QtWidgets.QVBoxLayout() # 模型选择 self.model_combo = QtWidgets.QComboBox() self.model_combo.addItems(["best.pt"]) self.model_combo.setCurrentIndex(0) # 加载模型按钮 self.load_model_btn = QtWidgets.QPushButton(" 加载模型") self.load_model_btn.setIcon(QIcon.fromTheme("document-open")) self.load_model_btn.setStyleSheet( "QPushButton { padding: 8px; background-color: #4CAF50; color: white; border-radius: 4px; }" "QPushButton:hover { background-color: #45a049; }" ) self.model_layout.addWidget(self.model_combo) self.model_layout.addWidget(self.load_model_btn) self.model_group.setLayout(self.model_layout) self.right_layout.addWidget(self.model_group) # 参数设置组 self.param_group = QtWidgets.QGroupBox("检测参数") self.param_group.setStyleSheet("QGroupBox { font-weight: bold; }") self.param_layout = QtWidgets.QFormLayout() self.param_layout.setLabelAlignment(Qt.AlignLeft) self.param_layout.setFormAlignment(Qt.AlignLeft) self.param_layout.setVerticalSpacing(15) # 置信度滑块 self.conf_slider = QtWidgets.QSlider(Qt.Horizontal) self.conf_slider.setRange(1, 99) self.conf_slider.setValue(25) self.conf_value = QtWidgets.QLabel("0.25") self.conf_value.setAlignment(Qt.AlignCenter) self.conf_value.setStyleSheet("font-weight: bold; color: #2196F3;") # IoU滑块 self.iou_slider = QtWidgets.QSlider(Qt.Horizontal) self.iou_slider.setRange(1, 99) self.iou_slider.setValue(45) self.iou_value = QtWidgets.QLabel("0.45") self.iou_value.setAlignment(Qt.AlignCenter) self.iou_value.setStyleSheet("font-weight: bold; color: #2196F3;") self.param_layout.addRow("置信度阈值:", self.conf_slider) self.param_layout.addRow("当前值:", self.conf_value) self.param_layout.addRow(QtWidgets.QLabel("")) # 空行 self.param_layout.addRow("IoU阈值:", self.iou_slider) self.param_layout.addRow("当前值:", self.iou_value) self.param_group.setLayout(self.param_layout) self.right_layout.addWidget(self.param_group) # 功能按钮组 self.func_group = QtWidgets.QGroupBox("检测功能") self.func_group.setStyleSheet("QGroupBox { font-weight: bold; }") self.func_layout = QtWidgets.QVBoxLayout() self.func_layout.setSpacing(10) # 图片检测按钮 self.image_btn = QtWidgets.QPushButton(" 图片检测") self.image_btn.setIcon(QIcon.fromTheme("image-x-generic")) # 视频检测按钮 self.video_btn = QtWidgets.QPushButton(" 视频检测") self.video_btn.setIcon(QIcon.fromTheme("video-x-generic")) # 摄像头检测按钮 self.camera_btn = QtWidgets.QPushButton(" 摄像头检测") self.camera_btn.setIcon(QIcon.fromTheme("camera-web")) # 停止检测按钮 self.stop_btn = QtWidgets.QPushButton(" 停止检测") self.stop_btn.setIcon(QIcon.fromTheme("process-stop")) self.stop_btn.setEnabled(False) # 保存结果按钮 self.save_btn = QtWidgets.QPushButton(" 保存结果") self.save_btn.setIcon(QIcon.fromTheme("document-save")) self.save_btn.setEnabled(False) # 设置按钮样式 button_style = """ QPushButton { padding: 10px; background-color: #2196F3; color: white; border: none; border-radius: 4px; text-align: left; } QPushButton:hover { background-color: #0b7dda; } QPushButton:disabled { background-color: #cccccc; } """ for btn in [self.image_btn, self.video_btn, self.camera_btn, self.stop_btn, self.save_btn]: btn.setStyleSheet(button_style) self.func_layout.addWidget(btn) self.func_group.setLayout(self.func_layout) self.right_layout.addWidget(self.func_group) # 检测结果表格组 self.table_group = QtWidgets.QGroupBox("检测结果详情") self.table_group.setStyleSheet("QGroupBox { font-weight: bold; }") self.table_layout = QtWidgets.QVBoxLayout() self.result_table = QtWidgets.QTableWidget() self.result_table.setColumnCount(4) self.result_table.setHorizontalHeaderLabels(["类别", "置信度", "左上坐标", "右下坐标"]) self.result_table.horizontalHeader().setSectionResizeMode(QHeaderView.Stretch) self.result_table.verticalHeader().setVisible(False) self.result_table.setSelectionBehavior(QtWidgets.QAbstractItemView.SelectRows) self.result_table.setEditTriggers(QtWidgets.QAbstractItemView.NoEditTriggers) # 设置表格样式 self.result_table.setStyleSheet(""" QTableWidget { border: 1px solid #e0e0e0; alternate-background-color: #f5f5f5; } QHeaderView::section { background-color: #2196F3; color: white; padding: 5px; border: none; } QTableWidget::item { padding: 5px; } """) # 设置居中代理 delegate = CenteredDelegate(self.result_table) self.result_table.setItemDelegate(delegate) self.table_layout.addWidget(self.result_table) self.table_group.setLayout(self.table_layout) self.right_layout.addWidget(self.table_group, stretch=1) self.main_layout.addLayout(self.right_layout, stretch=1) MainWindow.setCentralWidget(self.centralwidget) # 状态栏 self.statusbar = QtWidgets.QStatusBar(MainWindow) self.statusbar.setStyleSheet("QStatusBar { border-top: 1px solid #c0c0c0; }") MainWindow.setStatusBar(self.statusbar) # 初始化变量 self.model = None self.cap = None self.timer = QTimer() self.is_camera_running = False self.current_image = None self.current_result = None self.video_writer = None self.output_path = "output" # 创建输出目录 if not os.path.exists(self.output_path): os.makedirs(self.output_path) # 连接信号槽 self.load_model_btn.clicked.connect(self.load_model) self.image_btn.clicked.connect(self.detect_image) self.video_btn.clicked.connect(self.detect_video) self.camera_btn.clicked.connect(self.detect_camera) self.stop_btn.clicked.connect(self.stop_detection) self.save_btn.clicked.connect(self.save_result) self.conf_slider.valueChanged.connect(self.update_conf_value) self.iou_slider.valueChanged.connect(self.update_iou_value) self.timer.timeout.connect(self.update_camera_frame) # 设置全局样式 self.set_style() def set_style(self): style = """ QMainWindow { background-color: #f5f5f5; } QGroupBox { border: 1px solid #e0e0e0; border-radius: 5px; margin-top: 10px; padding-top: 15px; } QGroupBox::title { subcontrol-origin: margin; left: 10px; padding: 0 3px; } QLabel { color: #333333; } QComboBox { padding: 5px; border: 1px solid #cccccc; border-radius: 3px; } QSlider::groove:horizontal { height: 6px; background: #e0e0e0; border-radius: 3px; } QSlider::handle:horizontal { width: 16px; height: 16px; margin: -5px 0; background: #2196F3; border-radius: 8px; } QSlider::sub-page:horizontal { background: #2196F3; border-radius: 3px; } """ self.centralwidget.setStyleSheet(style) def load_model(self): model_name = self.model_combo.currentText().split(" ")[0] try: self.model = YOLO(model_name) self.statusbar.showMessage(f"模型 {model_name} 加载成功", 3000) self.image_btn.setEnabled(True) self.video_btn.setEnabled(True) self.camera_btn.setEnabled(True) except Exception as e: QMessageBox.critical(None, "错误", f"模型加载失败: {str(e)}") def update_conf_value(self): conf = self.conf_slider.value() / 100 self.conf_value.setText(f"{conf:.2f}") def update_iou_value(self): iou = self.iou_slider.value() / 100 self.iou_value.setText(f"{iou:.2f}") def detect_image(self): if self.model is None: QMessageBox.warning(None, "警告", "请先加载模型") return file_path, _ = QFileDialog.getOpenFileName( None, "选择图片", "", "图片文件 (*.jpg *.jpeg *.png *.bmp);;所有文件 (*)" ) if file_path: try: # 读取图片 img = cv2.imread(file_path) img = cv2.cvtColor(img, cv2.COLOR_BGR2RGB) # 显示原始图片 self.display_image(img, self.original_img_label) self.current_image = img.copy() # 检测图片 conf = self.conf_slider.value() / 100 iou = self.iou_slider.value() / 100 self.statusbar.showMessage("正在检测图片...") QtWidgets.QApplication.processEvents() # 更新UI results = self.model.predict(img, conf=conf, iou=iou) result_img = results[0].plot() # 显示检测结果 self.display_image(result_img, self.result_img_label) self.current_result = result_img.copy() # 更新结果表格 self.update_result_table(results[0]) self.save_btn.setEnabled(True) self.statusbar.showMessage(f"图片检测完成: {os.path.basename(file_path)}", 3000) except Exception as e: QMessageBox.critical(None, "错误", f"图片检测失败: {str(e)}") self.statusbar.showMessage("图片检测失败", 3000) def detect_video(self): if self.model is None: QMessageBox.warning(None, "警告", "请先加载模型") return file_path, _ = QFileDialog.getOpenFileName( None, "选择视频", "", "视频文件 (*.mp4 *.avi *.mov *.mkv);;所有文件 (*)" ) if file_path: try: self.cap = cv2.VideoCapture(file_path) if not self.cap.isOpened(): raise Exception("无法打开视频文件") # 获取视频信息 fps = self.cap.get(cv2.CAP_PROP_FPS) width = int(self.cap.get(cv2.CAP_PROP_FRAME_WIDTH)) height = int(self.cap.get(cv2.CAP_PROP_FRAME_HEIGHT)) # 创建视频写入器 timestamp = datetime.datetime.now().strftime("%Y%m%d_%H%M%S") output_file = os.path.join(self.output_path, f"output_{timestamp}.mp4") fourcc = cv2.VideoWriter_fourcc(*'mp4v') self.video_writer = cv2.VideoWriter(output_file, fourcc, fps, (width, height)) # 启用停止按钮,禁用其他按钮 self.stop_btn.setEnabled(True) self.save_btn.setEnabled(True) self.image_btn.setEnabled(False) self.video_btn.setEnabled(False) self.camera_btn.setEnabled(False) # 开始处理视频 self.timer.start(30) # 30ms间隔 self.statusbar.showMessage(f"正在处理视频: {os.path.basename(file_path)}...") except Exception as e: QMessageBox.critical(None, "错误", f"视频检测失败: {str(e)}") self.statusbar.showMessage("视频检测失败", 3000)七、项目源码(视频简介内)
完整全部资源文件(包括测试图片,py文件,训练数据集、训练代码、界面代码等),这里已打包上传至博主的面包多平台,见可参考博客与视频,已将所有涉及的文件同时打包到里面,点击即可运行,完整文件截图如下:
演示与介绍视频:
基于深度学习YOLOv8的药物识别检测系统(YOLOv8+YOLO数据集+UI界面+Python项目源码+模型)_哔哩哔哩_bilibili
基于深度学习YOLOv8的药物识别检测系统(YOLOv8+YOLO数据集+UI界面+Python项目源码+模型)