首先感谢腾讯云开发者社区给予这次分享机会。本项目采用边缘计算(OpenMV) + OpenClaw 智能体协同架构。在前端设备完成初步筛选,在后端大脑(龙虾)完成复杂决策,大幅提升系统效率与可扩展性,同时也大幅减少OpenClaw对tokens的开销。
项目痛点
我觉得这是一个非常有社会价值意义的产品,以前我们需要购买专门的设备或去购买服务,而现在我们只需要动动手就能实现,甚至可以拓宽思路自我扩展。
我身边就有两个案例发生,从而导致了悲剧,一个是今年年初,同小区的邻居喝酒回家,晕倒在地,由于家中无人,发生悲剧。另一个是十多年前,我舅舅的朋友高血压,在家倒地不起。如果有类似的产品服务,那么无疑可以减少这种风险的发生。
所以,我就用OpenClaw结合外部的视觉设备(openmv)来实现这个思路。OpenClaw作为大脑判断是否有人摔倒,视觉设备作为“龙虾之眼”采集照片发送给OpenClaw,视觉设备如下图所示:
项目流程拓扑图
简单画一个拓扑图,可以更清晰的观看,如下所示:
边缘视觉采集(OpenMV 多点部署)
摄像头采集是opencv的视觉模块,可以在家里的多个房间内安装(比如卧室、厨房、厕所、阳台等),一旦监测到有异常信息,那么会持续半分钟(每隔5秒)拍照,随后会推送至服务器,也就是OpenClaw的部署节点。中央智能分析(OpenClaw 作为系统大脑)
OpenClaw 作为大脑全局把控,定时读取由视觉模块传输过来的图片,如果是新图,则会判断图中人物是否处于摔倒撞到,如果不是,则不会发生任何事,如果是,则进行消息推送。多通道告警系统(确保消息必达)
消息推送可以自行自定义,我集成了飞书,其他即时通讯工具可以自行接入后作为接收端。短信通知是和飞书通知是同时发送的(如果有微信或QQ的接入也会更好),这两个是同时发送,一个是手机应用一个是短信,两者都发为了互补以防万一其中一个收不到,这样可以起到监控报警并且能被接收到的效果。如果需要停止监控,那么在飞书中输入:“停止监控任务”类似的话术就可以了。海量图像管理系统(行为数据沉淀)
海量照片后台管理,这个是可以统一打开网页查看老人每日的运动轨迹,定期关注老人的行为健康。所有的照片都会在此统一管理,查看更加方便。
场景演示
摄像头抓取人物倒地照片(为了测试方便,我自己拍照了,哈哈):
照片发送至OpenClaw端节点,以下为发送的过程:
OpenClaw端开启定时任务:
经过多轮次的对话和修改,最终的定时任务在openclaw中如下:
成功运行的推送任务:
以下为接收到的预警消息:
以下为腾讯云短信的通知信息内容模板,发送飞书推送的同时也会发送短信:
开发流程以及部分代码结构截图
可以很负责任的告诉大家,所有代码都不需要人工手写,都是通过龙虾一步一步的告诉你如何做,代码也完全由龙虾生成,你只需要按照龙虾给的操作就可以,比如涉及到Python的代码,我个人完全没操作,我本身也是Java出生,对Python也并不熟悉,所有交给龙虾来做,妥妥的!
以下是openmv视觉设备的代码,通过openmv ide开发后烧录至设备中:
以下为服务器端监听并接受图片的Python代码,图片统一接受存放至images文件夹,该文件夹将作为图片后台管理的文件服务进行读取。
以下为龙虾自动生成的后台管理系统,我取名为“ClawVision · 守护眼”:
所需的三处三端代码都是龙虾写的。代码还是有值得优化的地方,比如硬件方面就是摄像头像素偏低,廉价嘛,哈哈哈够用就行。另外就是目前没有加入wifi模块,不然可以无线传图,这样就更方便了,多个方位的摄像头监测到后可以直接通过web服务请求openclaw的主机node服务就可以接受了,要比现在的方式更好。还是那句话,一个产品的推出都是一个版本一个版本迭代而来的。
QA
也许有人会问市面上已经有很多摄像头厂商已经集成了老人摔倒并且通知报警的监控服务,为什么还要用openclaw再重复造轮子呢?
首先,我们是开发者,我们不是重复造轮子,是把轮子掌握在自己的手里。如果通过自己的手段来实现这一套逻辑,无疑是很棒的,openclaw和openmv(或树莓派)的结合是广大开发者可以高度自定义高度可控的,而且通过openclaw可以定制化各个行业各个业务的场景,都是完全可以落地,是真正意义上的AI落地。这是一个非常大的进步。可以让我们甚至让投资人看到这个市场是可以做的。
对于市面上的一些品牌摄像头产品,它们的功能都是固定的,黑盒模式,无法扩展无法定制,当我们采用openclaw和openmv(或树莓派)后,那就完全可控了,可以把技术牢牢掌握在自己手里,任何业务,我们都可以高度扩展和集成AI能力。
其实也就是说,传统厂商的方案只是“买功能”,我们则是“拥有一个系统化的AI应用扩展能力”。
此外,做这个系统这件事的核心价值,不是简单的一个项目,而是“AI应用的落地”,比如“电商试衣间”,“户外安防监控预警”,“医院病人监控预警”,“宠物监控”,“工地安全识别监控”等等。
我们作为先者,把这个方向做了,可以让更多有兴趣的人参与进来,从而更有创意的AI应用才会如春笋般冒出。
第三,我们从消费者变成了创造者,思维方式发生了改变,我相信这是未来的趋势。我们自己可以设计系统、制定规则并且构建AI应用。这不是简单的“工具升级”,而是“身份升级”。
未来计划
视觉作为AI的眼睛,OpenClaw作为大脑,未来我还计划做数字生命项目,为更多人提供有价值的服务。☺️
总结
我觉得最终的还是我们可以拥有更多的想象空间,不仅仅是摄像头,由于万物互联,我们可以接入更多的设备,比如机械臂,机器狗,机器人等等。以此打造一个更大的闭环,以此造福社会。