基于YOLOv8-pose与LSTM的跌倒检测系统：从海康威视摄像头接入到老人看护落地

1. 项目概述：老人独居风险背后的技术需求

做居家安防监控的这几年，我越来越意识到一个问题：老人跌倒的检测，在行业里一直是一个看着简单、落地极难的方向。市面上所谓的智能摄像头很多，真正能实现跌倒识别、行为告警的产品却少之又少，大多数只做到移动侦测和语音对讲，碰到老人半夜从床上滑落、在卫生间晕倒这种场景，基本无能为力。而这也正是我做这个"海康威视监控摄像头 AI+居家监控人体跌倒检测、老人看护行为识别"项目的核心动机——用现成的监控摄像头，跑一套真正可靠的行为识别算法，并把整个过程中沉淀的监控图像跌倒视频识别数据集复用起来，让后续的模型迭代和场景迁移有据可依。

这个项目适合谁参考？如果你是做智慧养老、居家安防、或者计算机视觉相关开发的，那这篇内容基本能覆盖你从数据准备、模型训练到设备接入、告警上线的全链路。就算你是刚入门的新手，跟着思路把技术路线走一遍，也能搞明白跌倒检测背后到底是怎么运作的。我会把项目中踩过的坑、试过的方案、最后选型的原因都摊开讲清楚，而不是只给你一套看起来很美的框架图。

先说项目的整体定位：输入是海康威视网络摄像头的RTSP视频流，核心任务是端侧或者边缘侧实时识别画面中的人体姿态，判断是否发生跌倒，并对长时间倒地不起、异常静卧等老人看护场景进行二次行为研判。整个系统的核心资产，是一批标注好的跌倒视频数据集——因为算法可以换、模型可以重训，但高质量的数据集才是这套系统能落地、能耗低、误报少的根本。这个道理，做AI的人应该都深有体会。

2. 方案选型与整体架构拆解

2.1 为什么选视觉方案而不是穿戴设备

在做跌倒检测的技术选型时，很多人第一个反应是手环、SOS按钮、或者挂脖式的呼救设备。这类穿戴方案确实成本低、部署简单，但真实使用反馈一直不理想：老人记不住戴、洗澡时摘下、摔倒后按钮根本够不着。我见过太多家庭装了紧急呼叫按钮，真正出事的那个晚上，按钮在卧室，老人摔倒在了客厅，根本按不到。所以从居家看护的实际场景出发，视觉方案的最大优势就是"无感"——老人不需要做任何操作，摄像头本身就是一个持续运行的哨兵。

当然视觉方案也不是万能钥匙。普通2D摄像头对光照敏感，夜间只能靠红外；厨房油烟、卫生间水汽、窗帘飘动、宠物跑动，都会造成误判。所以在设计方案时，我一开始就没有把所有压力都放在单一的检测算法上，而是采用"多层级联动"的思路：先做人体检测，再做姿态估计，最后加时序动作识别，三层判断逐级递进，每一层都能过滤掉一部分干扰。

2.2 技术路线对比与最终选型

目前主流的视觉跌倒检测路线大致分三类：第一类是纯目标检测方案，用YOLO类模型框出人体，通过检测框的宽高比突变判断是否跌倒。优点是速度快、实现简单，缺点是极易误报——人蹲下来捡东西、弯腰系鞋带、坐在沙发里看手机，都会改变宽高比，系统会喊救命喊到你崩溃。第二类是姿态估计方案，用OpenPose、MediaPipe或者YOLOv8-pose提取人体关键点，再根据关节点坐标计算身体倾斜角、中心点高度、头部位置等特征，判断是否处于跌倒后的姿态。这个方案比纯目标检测稳健很多，也是我最终选择的路径。第三类是端到端的动作识别网络，比如SlowFast、PoseC3D，直接把视频片段作为输入、输出动作类别，效果更好但计算量也更大，边缘设备很难跑得动。

我最终定的方案是两段式推理：用YOLOv8-pose做轻量级人体检测和关键点提取，把关键点序列送入一个时序分类器（LSTM或者PoseC3D）判断动作状态。这个组合既保留了姿态估计的强判别能力，又通过时序模型消除了单帧误判，在Jetson Orin或者RK3588这类边缘盒子上能跑到15-20帧每秒，足够满足实时看护的需求。后面我会详细拆解这套流程的具体实现。

2.3 数据集在项目里的核心地位

这里必须强调一个经验：跌倒检测这类任务，卡脖子的从来不是模型结构，而是数据。公开的人体数据集大多面向通用识别任务，摔倒样本要么数量少，要么场景单一，直接拿来做居家监护，跨场景泛化基本没法看。所以我这个项目的重心之一，就是沉淀一套专门针对居家监控场景的跌倒视频数据集。

有句话叫"垃圾进，垃圾出"。模型学到的其实就是数据集表达出来的东西：你的数据集里如果摔倒的人都是从画面左边倒向右边，那模型面对从画面右边倒向左边的情况就很容易漏检；你的数据集里如果全是年轻人模拟的快速摔倒，那老人那种缓慢的、扶着墙滑倒的场景，模型根本学不会。这是我在项目过程中最深刻的体会。

3. 数据集构建：从公开数据到自建样本

3.1 公开数据集的底子与局限

这个项目启动时，我先把业内常用的跌倒数据集摸了一遍底，这里给大家做个参考对比：

说实话，这些公开数据集可以作为预训练和效果验证的参考，但如果生产环境要跑老人看护，我劝你一定不要只依赖它们。公开数据集的通病是参与者大多是年轻人、动作刻意、场景干净，真实居家环境里那种杂乱的家具、反光的地砖、暗光下的红外图像，它们统统覆盖不到。所以我的做法是：公开数据做预训练和smoke test，核心场景数据来自自建。

3.2 自建数据集的设计思路

自建数据集最核心的问题就是数据的真实性和多样性。我不鼓励让真实老人做跌倒模拟，风险太高，也不人道。我的做法是组织20-40岁的团队成员进行模拟跌倒，但务必覆盖多种跌倒模式：向前扑倒、向后仰倒、向侧方滑倒、从坐姿滑落到地面、扶着墙慢慢坐下然后躺倒，还有走步中被绊倒。更关键的是，一定要加入足够多的"易混淆负样本"，比如蹲下捡东西、弯腰系鞋带、坐在地板上陪孩子玩、躺在沙发上休息、从床上滚落，这些动作在单帧画面上和跌倒非常像，如果负样本不够，系统上线后的误报率会高到让你怀疑人生。

多视角和安装高度也是数据采集的重点。海康威视类的半球机一般安装在墙角或者天花板，视角是俯视的，和公开数据集里平视视角的画面差异非常大。我在采集时分别模拟了2.5米高俯视、1.5米高度斜视、柜顶角落安装这几个常见位置，每个位置单独录一段，然后让模型在训练时把这些视角差异都学进去。

3.3 标注规范与数据清洗

标注是另一个决定系统上限的环节。我踩过最大的坑，就是标注人员对"跌倒动作的开始帧和结束帧"理解不一致。有人从人开始倾斜就算跌倒，有人等完全落地才算，最终训练出来的模型时好时坏，定位还极其不准。后来我强制定了一个统一的标注规范：跌倒开始帧定义为"人体失去平衡、关键点开始发生不可逆位移的那一帧"；跌倒结束帧定义为"人体躯干呈水平或接近水平且保持稳定超过0.4秒后的首帧"。在数据标签上，我按视频片段而不是单帧来做标注，每个片段输出一个动作标签，包括fall、stand、sit、lie、stoop、walk等，同时给关键帧额外标注跌倒发生的精确时间点。

数据清洗环节容易被轻视，但实际花的时间比标注还要多。我处理掉了一批打码严重的帧、人员过小无法判断的远景片段、以及摄像头被遮挡产生的纯黑帧，最终保留了约8600个有效片段，总时长超过40小时。这些数据被划分为训练集、验证集和测试集，划分维度不按视频片段随机分，而是按"受试者"分——同一个人的不同片段要么全部进训练集，要么全部进测试集，避免模型靠记住人脸的纹理特征来作弊。

4. 模型原理与核心算法解析

4.1 人体检测与姿态估计：YOLOv8-pose的实战经验

我最终选用YOLOv8-pose作为前端检测模型，而不是OpenPose或者MediaPipe，原因很务实：YOLOv8-pose的推理速度更快、部署生态成熟、在边缘设备上有很多加速支持，而且它同时输出检测框和17个COCO格式的人体关键点，一步到位。MediaPipe虽然关键点更多、手部面部识别更细，但在多人场景下的稳定性不够；OpenPose效果虽好，速度却跟不上实时监控的需求。

在实际训练中，我先用COCO预训练权重作为起点，再用自己的居家数据集做微调。这里有个非常重要的参数细节：训练图像尺寸我选择了640×640，而不是默认的416或者512，因为跌倒检测对远端小人体的关键点定位精度要求很高，尤其是老人半躺在画面角落的场景，图像分辨率太低的话关键点基本是废的。推理端的置信度阈值我调到0.45，比默认的0.25高一些，宁可漏掉几个模糊的小目标，也不要让灯具、窗帘、阴影被误识别成人。

4.2 跌倒判断的几何特征逻辑

拿到关键点之后，下一步是计算一组可解释的几何特征。我设计了一个五维特征向量：

• 垂直高度：髋部和颈部关节点在垂直方向上的平均位置，反映身体整体重心高度
• 躯干倾斜角：肩部中点和髋部中点连线与水平地面的夹角，正常站立接近90度，倒地接近0度
• 宽高比变化率：检测框宽度与高度的比值在两帧之间的变化幅度，跌倒瞬间会发生突变
• 关键点运动速度：所有可见关键点在连续两帧之间的平均位移速度，摔倒时会出现短时高速度
• 水平舒展度：肩部、髋部、膝部关键点在水平方向的离散程度，躺平时数值显著增大

这五个特征组合起来的物理含义很直观：一个正常行走的人，重心高度高、躯干竖直、水平舒展度低；一个已经跌倒的人，重心跌落到地面附近、躯干水平、手脚散开。我在代码里把这个五维特征向量作为时序模型的输入，每一帧计算一次，形成一段特征序列，再交给后续的LSTM或者PoseC3D做帧级状态的平滑和分类。

4.3 时序模型：单帧分类到序列识别

单帧的姿态分类只能告诉你"此时此刻这个人大概是站着还是躺着"，还远远不够判断跌倒事件。举个例子：老人正常的躺下睡觉、坐到地板上系鞋带、蹲着擦地，单帧画面看起来都和跌倒接近。所以我在前端特征的基础上接了一个时序模型，我的经验是用轻量LSTM做帧级分类就足够解决大部分场景，而不是一上来就上Transformer或者3D卷积。

LSTM的输入设计是这样一个结构：取连续30帧的五维特征向量（大概覆盖2秒左右的视频），每一帧还叠加当前帧的关键点坐标，形成一个30×22的输入张量，输出类别是三类——正常活动、跌倒中、跌倒后平躺。选择30帧的原因是跌倒动作本身的持续时间通常在0.8秒到1.5秒之间，既能完整描述加速度和冲击过程，又不至于因为窗口过长导致响应迟钝。我在实际项目里把LSTM的隐藏层大小设为128，用了两层堆叠加Dropout，在测试集上跌倒事件的F1分数从单帧分类的0.82提升到了0.93，误报率下降了将近一半。

4.4 数据并行策略

还有一个容易被忽略的细节：在训练时序模型时，要做正负样本重采样。因为我自建数据集中跌倒片段毕竟是少数，正常活动占了大头，如果不做处理，LSTM最后学到的就是"永远输出正常动作"，准确率虚高但毫无实际意义。我最终把正负样本的比例控制到1:3左右，宁可在训练时让模型对正常动作稍微敏感一点，也不能让它把跌倒当噪声忽略掉。

5. 实操落地：从训练到海康摄像头接入

5.1 训练环境与数据管线配置

先说训练环境。我用的是一张单卡RTX 4090，CUDA 12.1，PyTorch 2.1。YOLOv8-pose的训练参数如下：初始学习率0.001，SGD优化器，cosine衰减，训练150个epoch，batch size 16。姿态模型的训练比较吃显存，如果显存不够，把输入尺寸调整到512也能用，但关键点精度会掉一些，尤其在远端小人上比较明显。

数据处理管线我用的是PyTorch的Dataset + DataLoader模式。这里有一个坑值得提醒：不要在前处理里用OpenCV的imread直接读视频帧，因为视频解码和缩放会成为整个训练管线的瓶颈。我用了torchvision的VideoReader来并行解码，配合DataLoader的num_workers=8和pin_memory=True，训练吞吐量提升了将近3倍。具体流程上，每个视频片段被读取后做均匀间隔抽帧，对齐到30帧输入，再进行标准化和随机翻转增强。左右翻转对于跌倒检测尤其有效，因为模型需要学会识别从不同方向倒下的动作，翻转能让训练样本的方向多样性直接翻倍。

5.2 模型推理部署流程

训练完成的模型最终要部署到边缘设备上，这里我给出一个可以直接参考的推理伪代码逻辑：

import cv2 import torch from ultralytics import YOLO import numpy as np pose_model = YOLO("best_pose.pt") # 加载YOLOv8-pose模型 lstm_model = torch.load("lstm_pose_classifier.pth") # 加载时序分类模型 cap = cv2.VideoCapture("rtsp://user:password@192.168.1.64:554/Streaming/Channels/101") feature_history = [] while True: ret, frame = cap.read() if not ret: continue # 第1步: 人体检测 + 姿态估计 results = pose_model(frame, verbose=False) if len(results[0].keypoints.data) == 0: # 无目标时也要向特征队列填充空值，避免序列断裂 feature_history.append(np.zeros(5)) else: # 取画面中面积最大的检测框对应的关键点坐标 boxes = results[0].boxes.data keypoints = results[0].keypoints.data[0] n = boxes[:, 4].argmax() # 按置信度取最大 kpt = keypoints[n].cpu().numpy() # 第2步: 计算五维几何特征 feature = compute_pose_features(kpt) feature_history.append(feature) # 第3步: 维护30帧滑动窗口并送入LSTM if len(feature_history) >= 30: window = np.array(feature_history[-30:]) action = lstm_model(torch.from_numpy(window).float().unsqueeze(0)) label = torch.argmax(action, dim=1).item() if label == 1 or label == 2: trigger_alarm() # 触发告警联动 feature_history.pop(0)

在实际工程中，这个推理循环需要封装成线程或者异步任务，因为OpenCV的VideoCapture在解RTSP流时如果网络抖动，read()会阻塞。我的经验是给VideoCapture设置超时参数，并且在子线程中持续拉取最新帧，主线程只消费最新帧，这样哪怕网络短暂延迟也不会导致整个检测流程卡死。

5.3 海康威视设备的接入细节

海康威视摄像头的接入有两种常用方式：一种是RTSP取流协议，直接解析视频流；另一种是通过海康SDK或者ISAPI接口做更底层的控制和事件接收。对于纯视觉算法来说，RTSP取流已经足够，不需要额外引入SDK，减少了项目对特定厂商的依赖。标准的海康RTSP地址格式一般是：

rtsp://[用户名]:[密码]@[IP地址]:554/Streaming/Channels/[通道号][码流类型]

其中码流类型101表示主码流，102表示子码流。做实时检测时我一般拉子码流，分辨率1280x720，帧率控制在15帧左右，减轻边缘设备的解码压力；在触发告警后需要保存录像证据时，再临时切到主码流抓取高清图。如果你用的是带智能分析功能的摄像机型号，也可以开启摄像头自身的移动侦测，把报警信号作为检测算法的前置触发条件，算法只在画面变化时跑推理，这样能把长时间监控的功耗和计算负载明显降下来。

5.4 告警联动与看护闭环

模型识别到跌倒事件只是第一步，真正要落地的是告警如何触达到家属或者看护人员。我在这个项目里搭建了三级通知管道：检测到跌倒后1秒内，通过MQTT推送到家居中控设备；同时腾讯云短信接口发出告警短信给紧急联系人；如果30秒内（可配置）没有人通过App端确认"已处理"，自动拨打预置的语音电话。电话拨打这个环节用的是SIP语音网关，将SIP信令转接至运营商电话网络，确保老人身边没人时也能把信息传出去。

这套闭环的响应时间参数是可以调的。小区白天有护工巡视的系统可以把确认窗口设为2分钟，独居老人家庭则建议缩短到15-20秒。我实测下来的数据是：从跌倒发生到App收到推送通知，延迟在1.8秒到2.5秒之间，其中LSTM的30帧滑动窗口占了约2秒的缓冲，这是为了滤除误报付出的必要成本，再想压缩就得牺牲准确率，短期内不建议动这个参数。

6. 常见问题与调试经验

6.1 误报漏报怎么平衡

这是跌倒检测项目上线后最头疼的问题，没有之一。误报多了家属会被"狼来了"磨掉耐心，干脆关掉告警；漏报后果更严重，老人真出事没人管。我的调试经验是分场景调优两套参数：白天光线好的时候，模型置信度阈值可以调到0.5，偏向高召回；夜间红外模式下，图像纹理信息明显减弱，关键点定位噪声很大，阈值要调高到0.6以上，宁可牺牲10%的召回率，也要把暗光下的误报压住。另一个实践经验是把状态机引入告警判断：连续N帧判定为"跌倒后平躺"状态才触发告警，N在5-8帧之间比较合理。如果只为单帧判定告警，你会在半夜收到大量"老人躺在地板上"的惊吓通知，结果只是他在做瑜伽。

6.2 遮挡和多目标问题

居家场景经常出现的问题是老人在画面里被沙发、柜子、餐桌遮挡，或者家里来客人时多人出现在画面中。对遮挡问题我采用了跟踪加记忆机制——在目标跟丢之前记录其最近速度向量，利用恒定速度预测短暂遮挡期间的位置；如果目标重新出现且姿态特征与遮挡前相比发生剧变（比如从站立变成平躺），就判定跌倒时间窗口内发生了异常。这个逻辑在真实场景下有效，但要注意在厨房这种高频遮挡区域，模型会频繁预测目标位置，处理器开销明显上升，这时可以拉低摄像头帧率，从15帧降到10帧来换取计算余量。

多人场景的优先级策略也值得聊一下。我默认只跟踪画面中面积最大的人体，但在老人看护业务里，这不一定正确——可能有小个子老人和大个子保姆在同一个画面里。后来我加入了简单的先验过滤：按检测框宽高比筛选出宽高比接近1.6-2.5的站立人体框，再结合历史轨迹选择最可能的目标。如果一个画面中所有人的检测框都在移动，算法则将所有目标同时送入LSTM做多路分类，然后只要任何一路触发跌倒，就启动告警流程。

6.3 模型跑不动的性能瓶颈

有不少朋友问我说，海康威视的摄像头本身就带智能分析芯片，能不能直接在摄像头里跑跌倒模型？答案要区分型号。一些高端型号有NPU，可以部署精简的算法，但算力和开发自由度都有限，而且厂商的固件升级可能覆盖用户自定义模型，适合demo但不适合长期稳定运行。我推荐的做法是外接一个边缘计算盒子，比如Jetson Orin Nano或者RK3588开发板，摄像头只负责取流，算法全部在盒子里跑。最终测试下来，YOLOv8-pose的nano版本加上2层LSTM，在RK3588上可以达到13毫秒单帧平均推理耗时，CPU负载在60%左右，基本满足7x24小时连续运行。

6.4 数据隐私与合规收敛

最后说一个很多技术人容易忽视的点：监控视频涉及个人隐私和合规要求，尤其当你部署在老人家庭或多户场景时。我的做法是所有原始视频统一在边缘设备内处理，只向云端推送告警事件信息和裁剪后的关键帧截图，不让完整视频流出本地网络。另外，给被看护的老人提前告知摄像头位置和功能边界，尽量只保留角落、公共区域的高位视角，避免在私密空间（如卫生间内部，仅保留门口区域）部署。这些措施既保护老人尊严，也降低项目在真实落地时遇到的反感和阻力，甚至法律风险。技术合规不是可有可无的后补动作，而是系统设计中需要优先考虑的一个模块。

我在实际项目中最大的体会是：做老人看护的AI系统，算法准确率只能算一半的功力，另一半在于对真实使用场景的理解——误报会让人失去信任，漏报可能造成不可挽回的后果，而每个参数和阈值的设置，背后都是对这两种风险的权衡。这套系统从最初在实验室跑出98%的准确率，到真正在老人家里连续运行没有误报、没有漏报、家属能安心出门买菜，中间隔着的就是这篇文章里所有这些细节的打磨。如果你也在做类似的跌倒检测或者行为识别项目，希望这篇过程记录能帮你少走一些弯路。