news 2026/3/8 1:07:31

从 TPAMI 2025 看连续时间目标分割:事件相机驱动的视觉新方向

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
从 TPAMI 2025 看连续时间目标分割:事件相机驱动的视觉新方向

一、论文主要贡献

该论文首次提出了一个连续时间(Continuous-Time)视频目标分割框架,充分利用事件相机(Event Camera)提供的高时间分辨率,实现低延迟、高精度的目标分割。主要贡献包括:

提出连续时间目标分割任务(Continuous-Time Object Segmentation)

  • 与传统基于帧的视频分割不同,该任务可在任意时间点对事件流输出前景目标掩膜;
  • 将视频分割的时间粒度提升至亚毫秒级,适用于高速运动和动态交互场景。

设计事件驱动的稀疏监督框架(Sporadic Groundtruth Supervision)

  • 利用离散关键帧的标注,将监督信号传播至整个事件流;

  • 极大降低了标注成本,同时保持连续时间分割精度。

提出基于连续时间神经表示的方法

  • 采用基于时间的 MLP / 递归网络进行隐状态建模;
  • 支持事件序列递归更新目标表示,实现任意时间插值与前景恢复。

构建高质量事件分割数据集与采集平台(MOTChallenge 风格)

  • 数据集具有亚毫秒级时间同步;
  • 使用 DAVIS346 事件相机搭建平台,包含真实场景与稀疏标注;

  • 提供开源采集工具及标准评测代码,便于社区复现。

二、方法框架解读

论文提出的连续时间分割模型(Continuous-Time Segmentation Model)核心组成如下:

  1. 输入数据

  • 事件流:由事件相机产生,格式(x, y, t, p)表示位置、时间戳与极性;

  • 稀疏标注帧:选定关键时间点的图像或伪标签,用于监督训练;

  • 可选 APS / RGB 图像帧:用于可视化或初始化。

  1. 模型组成

a. Event Encoder

  • 将事件块输入卷积或图神经网络,提取局部空间–时间特征;

  • 输出时序嵌入用于隐状态更新。

b. Continuous-Time Latent Memory (CTLM)

  • 类似 LSTM 的递归单元,整合连续时间信息;

  • 支持任意时间点查询和插值,具有时间记忆能力。

c. Segmentation Decoder

  • 输入隐状态,输出前景分割掩膜;

  • 通过稀疏关键帧监督进行训练。

  1. 训练与监督策略

  • 利用稀疏帧监督指导整个时间线的目标位置学习;

  • 引入时间插值损失与事件前后约束,增强时间一致性

三、数据集与实验设置

  1. 数据采集平台

论文构建了高精度事件相机采集系统:

项目配置
事件相机DAVIS346(解析度 346×260)
数据接口USB3 高速传输
时间同步亚毫秒级 (<1ms)
场景类型室内/室外真实动态

设备同时输出:

  • 事件流:由光强变化触发;

  • APS 帧:灰度图,用于可视化和辅助。

  1. 采集方式与标注

  • 每段视频长度 1–5 秒,事件数百万;

  • 每段仅选取 10–15 帧关键时间点进行人工标注;

  • 标注文件包含像素级前景掩膜与时间戳映射表(PNG + JSON/TXT)。

  1. 数据集规模与划分

项目数量
总序列数50+
每序列标注帧10–15
分割目标数1–3
数据划分训练 / 验证 / 测试

四、实验评估指标

针对连续时间事件分割任务,采用多维评价:

  • IoU / mIoU:空间分割精度;

  • Temporal Stability:时间一致性;

  • Latency-aware Accuracy:低延迟条件下的预测精度。

从系统解决方案角度来看,论文方法对输入传感器形态提出了明确工程假设:事件相机需提供高时间分辨率、低延迟事件流,同时在关键时间点提供可对齐图像帧以支撑稀疏监督。

在实验中,DAVIS 系列设备验证了“事件 + 图像”融合输入的可行性。这种输入形式与实际工业和科研系统高度契合,说明连续时间分割方法不仅是算法创新,也具备真实硬件运行潜力

在这一背景下,灵光一号作为RGB + EVS 融合视觉相机,提供了与论文方法天然匹配的硬件能力:

  • 同步输出高分辨率 RGB 图像和高时间分辨率事件流;

  • 硬件级时间对齐保证数据一致性;

  • 可直接支撑稀疏监督训练与连续事件建模。

因此,该方法可在灵光一号平台上直接落地运行,形成完整的“融合感知硬件 + 连续时间目标分割算法”解决方案,适用于高速运动感知、低延迟交互及复杂动态场景。

六、总结

该论文开创性地提出了连续时间目标分割方法,并提供了完整的数据、实验与算法体系;在工程视角下,方法与灵光一号融合视觉相机天然适配,展示了从学术算法到工业落地的可行路径,为下一代高动态、高精度视觉系统提供了理论和实践参考。

申明:本文基于 TPAMI 2025 发表的相关研究进行技术解读与应用分析,论文成果归原作者所有,本文仅从工程与产业视角探讨事件相机(EVS)连续时间目标分割的发展趋势及应用价值。

paper:https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10713285

code: •https://github.com/BIT-Vision/ECOS

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/2/27 9:21:13

进口标致专修全系车型维修手册诊断手册电路图资料库上线更新RCZ 206CC 206GTi 308CC 308SW 407 4008 607 207CC 3008 207SW 208 307CC 307

资料来源&#xff1a;汽修帮手资料库汽修帮手资料库提供各大厂家车型维修手册、电路图、新车特征、车身钣金维修数据、全车拆装、扭力、发动机大修、发动机正时、保养、电路图、针脚定义、模块传感器、保险丝盒图解对照表位置等&#xff0c;并长期保持高频率资料更新该车系资料…

作者头像 李华
网站建设 2026/3/2 15:10:10

长安凯程神骐维修手册电路图资料更新神骐ET20 神骐F30 神骐PLUS 神骐T10 神骐T20 神骐T30拆装步骤螺丝扭力针脚定义保险丝图解发动机大修螺丝扭力正时校对

资料来源&#xff1a;汽修帮手资料库汽修帮手资料库提供各大厂家车型维修手册、电路图、新车特征、车身钣金维修数据、全车拆装、扭力、发动机大修、发动机正时、保养、电路图、针脚定义、模块传感器、保险丝盒图解对照表位置等&#xff0c;并长期保持高频率资料更新覆盖车型&a…

作者头像 李华
网站建设 2026/3/7 11:19:59

大数据领域ClickHouse的多租户方案设计

ClickHouse多租户方案设计&#xff1a;从理论到实践的完整指南 副标题&#xff1a;解决资源隔离、数据安全与性能保障的落地路径 摘要/引言 当你负责的ClickHouse集群从“支撑单一业务”走向“服务多个租户”时&#xff0c;有没有遇到过这些问题&#xff1f; 租户A的大查询把集…

作者头像 李华
网站建设 2026/3/1 15:27:46

【计算机毕业设计案例】python基于cnn识别微小细胞细菌细胞器

博主介绍&#xff1a;✌️码农一枚 &#xff0c;专注于大学生项目实战开发、讲解和毕业&#x1f6a2;文撰写修改等。全栈领域优质创作者&#xff0c;博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围&#xff1a;&am…

作者头像 李华
网站建设 2026/3/1 19:11:32

Go 语言变量作用域

Go 语言变量作用域 引言 Go 语言(也称为 Golang)是一种广泛使用的静态强类型、编译型、并发型编程语言。变量是编程语言中用于存储数据的基本单元。理解变量的作用域对于编写高效且易于维护的代码至关重要。本文将深入探讨 Go 语言中变量的作用域,包括其定义、规则以及如何…

作者头像 李华
网站建设 2026/2/16 15:03:42

42545

45638

作者头像 李华