简介：本资源是一套基于YOLOv8实现的摔倒检测完整代码工程，面向具备Python与PyTorch基础的计算机视觉开发者及智能安防、老年监护、运动分析等领域的算法实践者，解决真实场景中人物摔倒事件的自动识别与实时预警问题。压缩包为ZIP格式，共含多个核心模块：训练与推理主代码、YOLOv8模型配置文件（.yaml）、预训练权重文件、数据预处理与可视化脚本，以及配套说明文档；整体体积达894.56MB，体现其包含较完备的数据适配与部署支持能力。目前已有853人学习下载，反映出该方向在边缘安防与AI落地中的实际热度。用户可直接复现训练流程、快速部署推理服务，并基于提供的结构化代码框架进行数据集微调、小目标优化及结果可视化分析，尤其适合需要开箱即用又保留二次开发空间的工程型学习者。
1. YoloV8摔倒检测完整代码：不是调个权重就能跑通的“开箱即用”，而是从数据标注、模型微调到边缘部署全链路可复现的闭环
你在网上搜“YoloV8摔倒检测完整代码”，大概率会撞上一堆只贴了 inference.py 和几行 detect() 调用的“伪完整”项目——没数据集说明、没类别定义逻辑、没验证指标、更没有在真实监控视频流里扛住光照突变和遮挡的实测记录。但真正落地安防、养老看护或工业巡检场景时，摔倒不是静态图片里的一个姿态，而是连续帧中人体质心骤降+肢体角度突变+支撑面消失的复合行为信号。YoloV8本身不识别“摔倒”，它只输出 bbox 和置信度；所谓“完整代码”，必须包含：① 针对摔倒强特性的自定义标签规范（比如区分“蹲下-静止”和“蹲下-倒地”）；② 基于轨迹与姿态变化的后处理状态机；③ 在低帧率（15fps）、高压缩（H.264 CRF=28）、多角度（俯视/侧视/斜角）视频流下的鲁棒性加固。本文不讲论文复现，只讲我去年在养老院37路IPC摄像头上线时，把原始YOLOv8s模型从mAP@0.5=62.3拉到实际业务召回率91.7%的六步实操路径——所有代码、配置、参数、踩坑记录全部开源可复现，且已适配RK3588平台离线部署（非模拟，真烧录进板子跑通）。
2. 用YOLOv8s训练摔倒检测模型：从数据标注规范到训练命令的最小可行闭环
摔倒检测不是通用目标检测，它的失败代价极高（漏检=风险），而误报又直接摧毁用户信任（频繁告警=关系统）。因此，训练前必须重构数据生产流程，而非直接套用COCO或PASCAL的标注习惯。
2.1 摔倒类别的定义边界与标注实操规范（附labelme模板）
通用目标检测常把“人”作为单一类别，但摔倒检测必须拆解为原子动作状态，否则模型无法学习跌倒的动态过程。我们最终采用三级标签体系：
| 标签名 | 定义标准 | 标注示例 | 是否参与loss计算 |
|---|---|---|---|
person_standing | 双脚完全接触地面，髋关节角度 > 140°，重心高度 > 身高×0.55 | 直立行走、静止站立 | ✅ |
person_bending | 膝关节弯曲 > 45°，髋关节角度 < 140°，双脚仍着地 | 拾物、系鞋带、蹲姿休息 | ✅ |
person_falling | 关键帧：身体质心垂直位移速率 > 1.2 m/s²，且支撑脚数从2→0或1→0 | 倒地瞬间（非倒地后躺姿） | ✅（主监督信号） |
person_lying | 全身平躺/侧卧，肩髋连线与地面夹角 < 30°，持续时间 ≥ 2s | 倒地后静止状态 | ❌（仅用于后处理状态校验） |
提示：
person_falling必须标注在运动学意义上的“失衡临界点”，而非肉眼可见的“已倒地”。我们用Kinect V2采集200段真实跌倒视频，人工逐帧标出质心加速度峰值帧，再反向验证YOLOv8输出bbox中心点的y轴位移二阶导数，最终将阈值定为1.2 m/s²——这个值在RK3588上用OpenCV的cv2.calcOpticalFlowFarneback实时计算耗时<8ms。
标注工具用labelme，但需定制JSON schema。核心是强制要求每个person_falling框必须关联前一帧的person_standing或person_bending框（通过group_id字段绑定），否则预处理脚本自动过滤。模板如下：
{ "version": "5.4.1", "flags": {}, "shapes": [ { "label": "person_falling", "points": [[120, 85], [210, 320]], "group_id": 127, "shape_type": "rectangle", "flags": {} } ], "imagePath": "fall_00127_frame_45.jpg", "imageData": "...", "imageHeight": 720, "imageWidth": 1280 }group_id值必须与前一帧同ID的person_standing/person_bending一致——这是后续构建轨迹状态机的基础。
2.2 数据增强策略：针对监控场景的“物理合理”扰动
监控视频普遍存在三大干扰：① 低照度+高ISO噪点；② 运动模糊（尤其跌倒过程）；③ 多视角畸变（广角镜头桶形失真）。传统随机HSV、Mosaic会破坏摔倒的物理特征（如模糊过度导致肢体角度不可判）。我们采用分层增强：
- 底层像素级：仅启用
RandomBrightnessContrast(p=0.3, brightness_limit=0.1, contrast_limit=0.1)+GaussNoise(p=0.2, var_limit=(10.0, 50.0))，禁用饱和度调整（肤色失真影响姿态估计） - 中层几何级：
Rotate(p=0.5, limit=(-5,5), border_mode=cv2.BORDER_REPLICATE)+Perspective(p=0.3, scale=(0.05, 0.1))（模拟IPC镜头俯仰角变化） - 顶层语义级：禁用Mosaic/CutMix！改用
CopyPaste(p=0.2, blend=True, sigma=1)，且只允许person_standing→person_bending粘贴（模拟遮挡），禁止跨状态粘贴（如standing→falling会伪造不存在的运动学关系）
训练配置文件custom_fall.yaml关键参数：
train: ../datasets/fall_dataset/train val: ../datasets/fall_dataset/val nc: 3 # 注意：person_lying不参与训练，只用作后处理 names: ['person_standing', 'person_bending', 'person_falling']2.3 训练命令与关键超参选择（基于YOLOv8.1.0）
我们不用yolo train一键式，而是手动加载模型并冻结Backbone前70层（避免小数据集过拟合）：
# 使用官方ultralytics==8.1.0，非pip install最新版（8.2.0有后处理bug） yolo detect train \ data=custom_fall.yaml \ model=yolov8s.pt \ epochs=150 \ imgsz=640 \ batch=32 \ name=fall_v8s_rk3588 \ optimizer=AdamW \ lr0=0.001 \ lrf=0.01 \ cos_lr=True \ augment=True \ cache=True \ device=0 \ workers=8 \ val=True \ save_period=10 \ project=runs/trainlr0=0.001：比默认0.01低10倍，因摔倒数据量小（我们仅用827张有效训练图），高学习率易震荡cos_lr=True：余弦退火比step decay更稳定，尤其在最后30epoch收敛阶段cache=True：内存足够时启用，加速IO（我们的训练机有128GB RAM）workers=8：Ubuntu 22.04下实测超过8个Dataloader进程反而降低吞吐，因IPC共享内存瓶颈
训练耗时：RTX 4090单卡约6.2小时，最终val结果：
Class Images Instances Box(P) Box(R) Box(mAP50) Box(mAP50-95) person_standing 127 214 0.892 0.931 0.912 0.623 person_bending 127 189 0.847 0.873 0.860 0.541 person_falling 127 156 0.783 0.852 0.817 0.519注意：person_falling的mAP50=0.817只是起点，真正的业务指标在后处理环节——因为单帧检测无法区分“快速蹲下”和“真实跌倒”。
3. 摔倒状态机后处理：用轨迹+姿态双信号消除92%误报
YOLOv8输出的person_fallingbbox只是空间定位，但跌倒本质是时序事件。我们设计轻量级状态机（State Machine），在推理端实时融合三类信号：① bbox中心点y轴位移加速度；② 关键点角度变化率（用YOLO-Pose输出）；③ 支撑面存在性（通过脚部bbox与地面交集判断）。整个流程CPU占用<15%（Intel i5-1135G7），无需GPU。
3.1 关键点角度计算：用YOLOv8-Pose替代OpenPose（省掉200MB模型）
YOLOv8原生支持姿态估计（yolov8x-pose.pt），但直接用会导致延迟飙升。我们蒸馏出轻量分支：只保留17个关键点中的髋、膝、踝、肩、肘共10个点（去除手指、眼部等无关点），并量化坐标精度至0.01px（减少浮点运算）：
# pose_utils.py def calc_joint_angle(kpts, joint_names): """ kpts: (17,3) numpy array, [x,y,conf] joint_names: ['left_hip','left_knee','left_ankle'] -> 计算左腿夹角 Returns: angle in degrees, or -1 if any keypoint missing (conf<0.3) """ idx_map = {'left_hip': 11, 'left_knee': 13, 'left_ankle': 15, 'right_hip': 12, 'right_knee': 14, 'right_ankle': 16, 'left_shoulder': 5, 'right_shoulder': 6} points = [] for name in joint_names: idx = idx_map.get(name, -1) if idx == -1 or kpts[idx, 2] < 0.3: # 置信度阈值 return -1 points.append(kpts[idx, :2]) if len(points) != 3: return -1 # 向量夹角计算（避免arccos域外错误） v1 = points[0] - points[1] v2 = points[2] - points[1] cos_angle = np.dot(v1, v2) / (np.linalg.norm(v1) * np.linalg.norm(v2) + 1e-8) cos_angle = np.clip(cos_angle, -1.0, 1.0) # 防止浮点误差溢出 return np.degrees(np.arccos(cos_angle) # 示例：左腿弯曲角（髋-膝-踝） left_leg_angle = calc_joint_angle(kpts, ['left_hip','left_knee','left_ankle'])该函数在RK3588上单次调用耗时<1.2ms（NPU加速后）。
3.2 跌倒状态机FSM：5个状态+3个触发条件
状态机不依赖复杂LSTM，而是用滑动窗口（12帧≈0.8s）统计信号：
| 状态 | 进入条件 | 退出条件 | 输出动作 |
|---|---|---|---|
STANDING | 初始态 或 上一帧为STANDING且left_leg_angle > 150° | left_leg_angle < 120°且y_accel > 0.8 m/s² | 记录起始帧ID |
BENDING | STANDING→满足进入条件 | y_accel > 1.0 m/s²且left_leg_angle < 90° | 启动跌倒计时器 |
FALLING_START | BENDING→满足进入条件 | y_accel > 1.2 m/s²且foot_ground_ratio < 0.3 | 触发告警（预判） |
FALLING_CONFIRM | FALLING_START→持续2帧 | y_accel < 0.3 m/s²且body_angle < 30° | 发送正式告警 |
LYING | FALLING_CONFIRM→满足进入条件 | person_standing检测出现 | 清除告警 |
其中foot_ground_ratio计算方式：
def calc_foot_ground_ratio(bbox, frame_height): """ bbox: [x1,y1,x2,y2] 归一化坐标 frame_height: 原始帧高（用于转换像素坐标） 返回脚部区域与地面交集占比（0~1） """ y_bottom = int(bbox[3] * frame_height) # bbox底部y坐标 ground_line = frame_height - 20 # 假设地面在底部20px内（可标定） overlap = max(0, ground_line - y_bottom) foot_height = int((bbox[3] - bbox[1]) * frame_height) return overlap / (foot_height + 1e-8)3.3 实时推理pipeline：集成检测+姿态+状态机的单线程架构
为避免多线程同步开销，我们用单线程流水线（frame → detect → pose → fsm → output）：
# infer_fall.py class FallDetector: def __init__(self, weights='yolov8s-fall.pt', pose_weights='yolov8s-pose.pt'): self.detector = YOLO(weights) self.pose_model = YOLO(pose_weights) self.fsm = FallStateMachine() self.frame_count = 0 def process_frame(self, frame): self.frame_count += 1 # Step1: 检测人与摔倒候选框 det_results = self.detector(frame, conf=0.3, iou=0.5, verbose=False) boxes = det_results[0].boxes.xyxy.cpu().numpy() # (n,4) classes = det_results[0].boxes.cls.cpu().numpy() # (n,) # Step2: 对每个person框提取pose（只对person_standing/bending做pose） poses = [] for i, cls in enumerate(classes): if cls in [0,1]: # 仅对standing/bending做pose估计 x1,y1,x2,y2 = map(int, boxes[i]) crop = frame[y1:y2, x1:x2] p_result = self.pose_model(crop, verbose=False) if len(p_result[0].keypoints) > 0: kpts = p_result[0].keypoints.xy.cpu().numpy()[0] # (17,3) # 将关键点映射回原图坐标 kpts[:,0] += x1 kpts[:,1] += y1 poses.append(kpts) else: poses.append(None) else: poses.append(None) # Step3: 更新状态机 fall_event = self.fsm.update(boxes, classes, poses, frame.shape[0]) # Step4: 绘制可视化（可选） if fall_event: cv2.putText(frame, "FALL DETECTED!", (50,50), cv2.FONT_HERSHEY_SIMPLEX, 1.2, (0,0,255), 3) return frame, fall_event # 使用示例 detector = FallDetector() cap = cv2.VideoCapture("test_video.mp4") while cap.isOpened(): ret, frame = cap.read() if not ret: break out_frame, event = detector.process_frame(frame) if event: print(f"[{time.time():.2f}] Fall detected at frame {detector.frame_count}") cv2.imshow("Fall Detection", out_frame) if cv2.waitKey(1) == ord('q'): break血泪经验：
pose_model必须用verbose=False，否则每帧打印日志会拖慢300ms；crop尺寸建议固定为256x256（YOLO-Pose最佳输入），过大则NPU缓存溢出。
4. RK3588部署全流程：从ONNX导出到NPU推理的6个硬核步骤
YOLOv8官方export支持RKNN，但实测在RK3588上存在两个致命问题：①yolo.export(format='rknn')生成的.rknn文件在板端加载时报RKNN_ERR_DEVICE_UNAVAILABLE；② 默认FP16量化导致person_falling类置信度坍缩（从0.78→0.21）。我们必须手动走通ONNX→RKNN→板端推理全链路。
4.1 导出ONNX：禁用动态轴+固定输入尺寸
YOLOv8默认导出含dynamic_axes，RKNN不兼容。修改ultralytics/engine/exporter.py第217行：
# 原代码（会报错） torch.onnx.export( model, im, f, opset_version=12, dynamic_axes={'images': {0: 'batch', 2: 'height', 3: 'width'}} # ← 删除此行！ ) # 改为固定尺寸（640x640） torch.onnx.export( model, im, f, opset_version=12, input_names=['images'], output_names=['output0'], # 注意：YOLOv8输出是(1,84,8400)，非传统(1,25200,85) do_constant_folding=True )导出命令：
yolo export model=yolov8s-fall.pt format=onnx imgsz=640 batch=1 opset=12生成yolov8s-fall.onnx，用Netron验证输入尺寸为[1,3,640,640]，无dynamic_axes。
4.2 RKNN转换：必须用RKNN-Toolkit2 v1.6.0（非最新版！）
RKNN-Toolkit2 v1.7.0+对YOLOv8的Anchor-Free结构支持异常，我们锁定v1.6.0（2023年10月发布）：
# convert_to_rknn.py from rknn.api import RKNN if __name__ == '__main__': rknn = RKNN(verbose=True) # Config必须指定target_platform rknn.config( target_platform='rk3588', mean_values=[[123.675, 116.28, 103.53]], # YOLOv8默认归一化参数 std_values=[[58.395, 57.12, 57.375]], quantize_input=True, quantized_dtype='asymmetric_affine_uint8', weight_pre_compile=True, optimization_level=3 ) # 加载ONNX（注意：model为字符串路径，非对象） ret = rknn.load_onnx(model='yolov8s-fall.onnx') if ret != 0: print('Load onnx failed!') exit(ret) # 导出RKNN（关键：do_quantization=True且dataset指定校准图） ret = rknn.build( do_quantization=True, dataset='./calibration_images.txt' # 200张真实监控图路径列表 ) if ret != 0: print('Build rknn failed!') exit(ret) rknn.export_rknn('./yolov8s-fall.rknn') print('Done')calibration_images.txt内容示例（绝对路径，每行一张）：
/home/rk3588/calib/001.jpg /home/rk3588/calib/002.jpg ...玄学参数：
optimization_level=3比2快15%，但比4更稳定；weight_pre_compile=True开启权重预编译，避免板端首次运行卡顿。
4.3 板端推理：C++ API调用与内存优化技巧
Python API在RK3588上延迟高达120ms，我们改用C++（librknnrt.so）：
// rknn_fall_detector.cpp #include "rknn_api.h" #include <opencv2/opencv.hpp> #include <vector> class RKNNFallDetector { private: rknn_context ctx; std::vector<uint8_t> input_data; std::vector<float> output_data; public: bool init(const char* model_path) { // 加载模型 int ret = rknn_init(&ctx, model_path, 0); if (ret < 0) { printf("rknn_init error: %d\n", ret); return false; } // 获取输入输出信息 rknn_input_output_num io_num; rknn_query(ctx, RKNN_QUERY_INPUT_OUTPUT_NUM, &io_num, sizeof(io_num)); printf("input num: %d, output num: %d\n", io_num.n_input, io_num.n_output); // 分配输入内存（注意：YOLOv8输入是NHWC格式，需转换） input_data.resize(640*640*3); output_data.resize(84*8400); // output0 shape: [1,84,8400] return true; } bool detect(cv::Mat& frame, std::vector<DetResult>& results) { // BGR2RGB + resize + normalize cv::Mat rgb, resized; cv::cvtColor(frame, rgb, cv::COLOR_BGR2RGB); cv::resize(rgb, resized, cv::Size(640,640)); // NHWC to NCHW（RKNN要求NCHW） uint8_t* ptr = input_data.data(); for (int y=0; y<640; y++) { for (int x=0; x<640; x++) { cv::Vec3b pixel = resized.at<cv::Vec3b>(y,x); ptr[x*640*3 + y*3 + 0] = pixel[0]; // R ptr[x*640*3 + y*3 + 1] = pixel[1]; // G ptr[x*640*3 + y*3 + 2] = pixel[2]; // B } } // 设置输入 rknn_input inputs[1]; inputs[0].index = 0; inputs[0].buf = input_data.data(); inputs[0].size = input_data.size(); inputs[0].pass_through = false; // 推理 int ret = rknn_inputs_set(ctx, 1, inputs); if (ret < 0) return false; ret = rknn_run(ctx, nullptr); if (ret < 0) return false; // 获取输出 rknn_output outputs[1]; outputs[0].index = 0; outputs[0].buf = output_data.data(); outputs[0].size = output_data.size(); ret = rknn_outputs_get(ctx, 1, outputs, nullptr); if (ret < 0) return false; // 解析output0（[1,84,8400] → [8400,84]） parse_yolov8_output(output_data.data(), results); rknn_outputs_release(1, outputs); return true; } };关键点：
- 输入必须转为NCHW格式（YOLOv8 ONNX是NCHW，但RKNN文档写错成NHWC，实测必须按NCHW填）
rknn_inputs_set后必须调用rknn_run，不能跳过- 输出解析需按
[1,84,8400]展平为[8400,84]，其中前4维为[x,y,w,h]，后80维为类别概率
编译命令（在RK3588板端）：
aarch64-linux-gnu-g++ -o fall_detector rknn_fall_detector.cpp \ -I/opt/rknn-toolkit2/rknn_api/include \ -L/opt/rknn-toolkit2/rknn_api/lib \ -lrknnrt -lopencv_core -lopencv_imgproc -lopencv_highgui \ -std=c++11 -O25. 避坑指南：YOLOv8摔倒检测落地的5个真实翻车现场
这些坑不是理论假设，而是我在3个养老院项目中亲手踩出来的，每一条都附带现象→原因→解决闭环。
5.1 现象：训练时val mAP50很高（0.81），但实际视频测试召回率仅53%
原因：验证集用了与训练集同源的Kinect采集数据，而真实IPC视频存在严重域偏移——Kinect是近景正视角，IPC是远景俯视角，且IPC压缩导致边缘细节丢失。模型学到的是“Kinect风格跌倒”，而非“真实监控跌倒”。
解决：
- 构建混合验证集：70% Kinetic数据 + 30%真实IPC截图（从37路摄像头抽样）
- 在训练
val阶段强制启用--rect参数（保持长宽比填充，避免IPC常见黑边干扰） - 添加
LetterBox增强到验证流程（val_augment=True），模拟IPC的pad效应
5.2 现象：RK3588上推理帧率从32fps骤降至8fps，top1 CPU占用98%
原因：cv2.dnn.blobFromImage()默认使用cv2.dnn.DNN_BACKEND_OPENCV，但在RK3588上会触发OpenCV的CPU fallback，绕过NPU。而blobFromImage内部的resize和normalize未被NPU加速。
解决：
- 完全弃用
cv2.dnn，手写resize（用cv2.resize(interpolation=cv2.INTER_LINEAR)）和normalize（img = (img - mean) / std） - 将预处理移到
rknn_inputs_set之前，在CPU完成，确保NPU只做纯推理 - 编译OpenCV时禁用
WITH_VULKAN和WITH_CUDA，避免后台线程争抢
5.3 现象：夜间低照度下person_falling检测框大量漂移，甚至框到墙壁纹理
原因：YOLOv8的Neck（C2f模块）对低频噪声敏感，而夜间图像的1/f噪声集中在低频段，被当作“人体轮廓”激活。
解决：
- 在训练数据增强中加入
OneOf([LowLightNoise(p=0.5), GaussianBlur(p=0.3)])，其中LowLightNoise模拟CMOS读出噪声 - 修改模型：在Backbone末尾插入
nn.AdaptiveAvgPool2d((1,1))+nn.Conv2d(512,512,1)，强制抑制低频响应（实测提升夜间mAP50 12.3%） - 板端推理时，对输入帧做
cv2.createCLAHE(clipLimit=2.0, tileGridSize=(8,8)).apply()，专治低照度对比度不足
5.4 现象：多人场景下，当A摔倒时，B的person_standing框被误标为person_falling
原因：YOLOv8的anchor-free head在密集人群时，正样本分配（Task-Aligned Assigner）会将靠近摔倒者的负样本误判为正样本，尤其当两人距离<0.3m时。
解决：
- 修改
ultralytics/utils/loss.py中TaskAlignedAssigner的alpha参数从1.0→0.5，降低对IoU的敏感度 - 在后处理增加“邻域抑制”：若某框与最近
person_falling框IoU>0.3，则将其置信度×0.1 - 引入ReID特征：用轻量
mobilenetv2提取每人reid向量，摔倒者向量与周围人余弦相似度<0.2才确认
5.5 现象：person_lying状态持续10分钟不恢复，系统无法判断是否已起身
原因：状态机设计缺陷——LYING状态退出条件仅依赖person_standing检测，但老人卧床休息时可能长时间无站立动作，导致告警无法清除。
解决：
- 增加超时机制：
LYING状态持续>180秒，自动触发check_standup子状态机 check_standup子机：连续检测3帧内person_bending出现频率>60%，则认为正在尝试起身- 若10分钟内无任何姿态变化，推送“请确认状态”消息（非告警），由护理员人工确认
6. 进阶技巧：用热力图可视化模型“注意力盲区”，精准定位漏检根因
YOLOv8不提供Grad-CAM接口，但我们可以用captum库对Backbone最后一层特征图做梯度加权（Gradient-weighted Class Activation Mapping），生成热力图定位模型关注区域。这不是炫技，而是定位漏检的物理根因——比如发现模型总忽略脚部区域，说明数据标注时脚部bbox太小；若热力图集中在头部，说明模型把跌倒当成“低头动作”。
6.1 热力图生成：适配YOLOv8的captum改造
YOLOv8的model.backbone是nn.Sequential，需提取特定层（以C2f模块为例）：
# gradcam_utils.py from captum.attr import LayerGradCam import torch.nn as nn def get_gradcam_heatmap(model, input_tensor, target_class=2): # 2=person_falling # 找到backbone最后一个C2f层（YOLOv8s中是第7个C2f） backbone = model.model.backbone target_layer = None for name, module in backbone.named_modules(): if isinstance(module, C2f) and 'c2f' in name: target_layer = module if target_layer is None: raise ValueError("C2f layer not found") # 初始化GradCAM gc = LayerGradCam(model, target_layer) # 计算热力图（注意：输入需requires_grad=True） input_tensor.requires_grad_(True) attribution = gc.attribute(input_tensor, target=target_class) # 插值到原图尺寸 cam = torch.mean(attribution, dim=1).squeeze() # (h,w) cam = torch.nn.functional.interpolate( cam.unsqueeze(0).unsqueeze(0), size=(640,640), mode='bilinear' ).squeeze() return cam.detach().cpu().numpy() # 使用示例 model = YOLO('yolov8s-fall.pt') img = cv2.imread('test_fall.jpg')[:,:,::-1] # BGR→RGB img_tensor = torch.from_numpy(img).float().permute(2,0,1).unsqueeze(0) / 255.0 cam_map = get_gradcam_heatmap(model, img_tensor)6.2 热力图分析：三类典型漏检的视觉证据链
我们对127例漏检样本做热力图聚类，发现三大模式：
| 漏检类型 | 热力图特征 | 物理根因 | 改进措施 |
|---|---|---|---|
| 脚部缺失型 | 热力图集中在躯干，脚部区域几乎无响应 | 标注时脚部bbox平均面积仅占全身3.2%（应≥8%） | 重标数据，强制脚部bbox最小高度=全身高度×0.15 |
| 遮挡混淆型 | 热力图在遮挡物（椅子/床沿）边缘高亮 | 模型把遮挡边界当做人形轮廓 | 在数据增强中加入RandomShadow(p=0.4)，模拟真实遮挡 |
| 运动模糊型 | 热力图呈水平条纹状，与运动方向一致 | 模型把模糊轨迹当“延伸肢体” | 训练时启用MotionBlur(p=0.3, kernel_size=5)，且只对person_falling类增强 |
我的习惯：每次新数据集交付前，必跑100张漏检图的热力图，用OpenCV画出热力图与bbox的IoU分布直方图。如果IoU<0.1的样本占比>35%，就暂停训练，先修数据——这比调参快10倍。希望帮到你。
本文还有配套的精品资源，点击获取
