news 2026/6/22 18:21:24

【论文阅读】SparseDrive: End-to-End Autonomous Driving via Sparse Scene Representation

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
【论文阅读】SparseDrive: End-to-End Autonomous Driving via Sparse Scene Representation

标题:SparseDrive: End-to-End Autonomous Driving via Sparse Scene Representation
作者:Wenchao Sun Xuewu Lin Yining Shi Chuang Zhang Haoran Wu Sifa Zheng

moviation

作者觉得成熟的模块化自动驾驶系统被分解为不同的独立任务,例如感知、预测和规划,从而导致模块间信息丢失和错误累积。相比之下,端到端范式将多任务统一到一个完全可微分的框架中,从而允许以规划为导向进行优化。尽管端到端范式具有巨大潜力,但现有方法的性能和效率都不令人满意,特别是在规划安全方面。作者觉得BEV方案的计算代价太高且模型设计太简单了。因此,作者搞了一个稀疏的sparseDrive模型,又快又好。

methods


是由三部分组成:图像编码器、对称稀疏感知和并行运动规划器;
在对称稀疏感知模块中,特征图被聚合成两组实例,来学习驾驶场景的稀疏表示。这两组实例分别代表周围的智能体和地图元素,被输入到并行运动规划器中,与初始化的自我实例进行交互。运动规划器同时预测周围智能体和自身车辆的多模态轨迹,并通过分层规划选择策略选择一条安全轨迹作为最终规划结果。
Symmetric Sparse Perception:

右边Sparse Detection和左边Sparse Online Mapping,都用相同的sparse4d结构的模型,训练方式也同于sparse4dv3, 只是特征变量不一样:

跟踪也是用的sparse4dv3里面的策略;

Parallel Motion Planner:

作者用前视最小特征图和自车状态进行初始化,并把自车和他车及周围环境信息concat在一起行车整个规划的环境模型;最后做预测和规划。**Hierarchical Planning Selection:**现在有了多模态规划轨迹方案,为了选择一个安全的轨迹,设计了一个分层规划选择策略。首先,选择一个轨迹方案子集 ,对应于高级命令 。然后,采用一种新颖的碰撞感知重新评分模块来确保安全性。利用运动预测结果,我们可以评估每个规划轨迹方案的碰撞风险,对于碰撞概率高的轨迹,我们降低该轨迹的分数。在实践中,我们简单地将碰撞轨迹的分数设置为0。最后,我们选择得分最高的轨迹作为最终的规划输出。

training:
SparseDrive 的训练分为两个阶段。在阶段 1 中,从头开始训练对称稀疏感知模块,以学习稀疏场景表示。在阶段 2 中,稀疏感知模块和并行运动规划器一起训练,没有模型权重冻结,充分感受端到端优化的好处。配置config文件即可:

loss:
另外,作者加了深度预测分支;

code 赏析




experiments

如作者说的,与其他模型相比,拉开了很大的差距。

其他发现:

【完结】

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/6/21 15:00:21

如何轻松掌握B站视频下载:新手必备的完整指南

如何轻松掌握B站视频下载:新手必备的完整指南 【免费下载链接】bilibili-downloader B站视频下载,支持下载大会员清晰度4K,持续更新中 项目地址: https://gitcode.com/gh_mirrors/bil/bilibili-downloader 还在为无法离线观看B站精彩内…

作者头像 李华
网站建设 2026/6/5 19:29:57

Windows苹果设备驱动终极指南:一键解决iPhone连接问题

Windows苹果设备驱动终极指南:一键解决iPhone连接问题 【免费下载链接】Apple-Mobile-Drivers-Installer Powershell script to easily install Apple USB and Mobile Device Ethernet (USB Tethering) drivers on Windows! 项目地址: https://gitcode.com/gh_mir…

作者头像 李华
网站建设 2026/6/14 7:38:54

Cyber Engine Tweaks终极指南:轻松优化赛博朋克2077游戏体验

Cyber Engine Tweaks终极指南:轻松优化赛博朋克2077游戏体验 【免费下载链接】CyberEngineTweaks Cyberpunk 2077 tweaks, hacks and scripting framework 项目地址: https://gitcode.com/gh_mirrors/cy/CyberEngineTweaks Cyber Engine Tweaks是专为《赛博朋…

作者头像 李华
网站建设 2026/5/30 23:57:30

2024年提示工程市场调研:架构师需要关注的5个客户痛点

2024提示工程市场调研:架构师必须关注的5个客户痛点及解决路径 摘要/引言 2024年,随着GPT-4 Turbo、Claude 3 Opus、Gemini 1.5等下一代大语言模型(LLM)的普及,提示工程(Prompt Engineering) 从…

作者头像 李华
网站建设 2026/6/22 4:46:38

Qwerty Learner:终极英语学习软件与键盘输入训练完整指南

Qwerty Learner:终极英语学习软件与键盘输入训练完整指南 【免费下载链接】qwerty-learner 项目地址: https://gitcode.com/GitHub_Trending/qw/qwerty-learner 在当今数字化工作环境中,英语输入效率直接影响着键盘工作者的生产力。你是否曾经在…

作者头像 李华
网站建设 2026/6/18 11:59:10

WPS-Zotero插件:高效文献管理新体验的完整指南

还在为WPS中无法高效管理文献引用而烦恼吗?WPS-Zotero插件作为一款开源神器,让WPS Writer与Zotero实现无缝对接,彻底解决Linux用户的文献管理痛点,为学术写作带来革命性体验。 【免费下载链接】WPS-Zotero An add-on for WPS Writ…

作者头像 李华