一、人形机器人真正难的不是“看见”,而是让感知跟得上全身运动
二维画面并不等于可执行的空间信息。人形机器人需要在三维空间里完成移动、避障、抓取、放置和人与环境交互,仅知道“目标在哪里”往往不够,还要同时获得距离、尺度、自由空间、障碍物位置以及机器人自身运动状态。视觉结果最终必须能够进入规划与控制链路,否则高清图像本身并不能直接转化为稳定动作。
机器人运动会把成像问题放大。头部转动、身体行走、机械臂摆动和腕部快速接近目标都会带来视角变化与运动模糊风险。对原型机而言,偶发的图像异常可能只是一次调试;进入长时间运行后,动态场景下的图像稳定性、深度连续性和时间同步就会直接影响 SLAM、目标定位和抓取闭环。
同一台机器人往往同时存在远近两类视觉任务。头部或胸部视觉更关注较大范围的环境理解、导航和避障,腕部或末端视觉则更关注近距离的物体边缘、抓取位置和精细操作。研发阶段容易只围绕单个演示任务选相机,但整机继续迭代后,视野、工作距离、基线、安装空间和接口往往会成为新的约束。
从实验室走向真实环境,稳定性比单一峰值参数更重要。人形机器人会面对室内外光照变化、反光表面、遮挡、振动、复杂布线和有限算力。视觉方案是否好用,最终取决于相机、接口、同步、算力平台和软件工具能否作为一个系统持续工作,而不是只比较分辨率、帧率或某一个精度数字。
二、从原型走向真实部署,视觉系统要同时过四道工程关
第一道关是动态场景中的成像质量。人形机器人在移动和操作时,相机与目标都可能处于运动状态。全局快门能够让整帧在同一时间窗口曝光,更适合高速动作、移动平台和机械臂操作等场景;如果使用卷帘快门,则需要更仔细评估运动速度、曝光时间和任务对几何稳定性的容忍度。
第二道关是数据链路与安装可靠性。研发样机上短距离 USB 连接很方便,但整机布线进入头部、躯干或机械臂后,线缆长度、锁紧方式、电磁环境、振动以及维护便利性都会影响系统可用性。GMSL2 这类面向车载和机器人场景的链路,更适合需要低延迟、牢固连接和较长距离传输的嵌入式部署。
第三道关是多传感器时间一致性。人形机器人常同时使用多台相机、IMU 以及其他传感器。视觉帧之间是否同步,会影响多视角融合、位姿估计和训练数据对齐。尤其在快速运动中,哪怕空间标定正确,如果时间上错位,融合后的点云、轨迹或动作标注也可能出现误差。
第四道关是软件链路是否足够完整。相机输出只是起点。工程团队还需要深度、点云、位姿、空间建图、目标追踪、ROS/ROS 2 接口以及与 NVIDIA Jetson 等边缘计算平台的适配。原型阶段能快速跑通、后期又能继续做性能优化和多相机扩展的软件栈,往往能减少重复开发。
三、研发团队为什么会把 ZED 放进头部、身体和腕部
ZED 系列的价值在于把“相机”扩展成空间感知链路。Stereolabs 的 ZED 双目相机通过立体视觉生成深度信息,并由 ZED SDK 进一步提供位置追踪、空间建图、点云、目标检测与追踪等能力。对于人形机器人,这意味着同一套视觉生态可以同时服务环境理解、移动导航、操作控制和训练数据采集,而不只是提供 RGB 视频。
头部和躯干更适合承担全局感知。ZED X 采用 120 毫米立体基线、双 1920×1200 全局快门传感器,最高可达 60 fps,并集成 IMU 和 GMSL2 接口。对需要较大范围深度感知、机器人定位和动态环境理解的任务,这类配置更接近整机主视觉的需求;多相机方案还可通过硬件同步扩展视角。
腕部与近距离操作更看重体积和短距感知。ZED X Mini 采用 50 毫米立体基线,保持全局快门、双 1920×1200 最高 60 fps、IMU 与 GMSL2 连接,更适合空间受限、工作距离更近的操作任务。新一代 ZED X Nano 进一步以 18 毫米基线和紧凑轻量设计面向腕部安装、人形机器人与 Physical AI 场景,说明产品路线正在针对末端执行器视觉继续细分。
原型阶段与整机阶段可以采用不同接口策略。需要快速验证算法时,ZED 2i 和 ZED Mini 等 USB 3 相机便于连接开发主机;当系统进入更紧凑、更强调抗振和可靠连接的机器人架构时,ZED X 系列的 GMSL2、外部同步以及与 Jetson 平台的集成更有工程优势。选型不应只问“哪款参数最高”,而应根据安装位置、工作距离、动作速度和数据链路决定。
四、公开项目经验说明:好用的视觉系统要让研发迭代变得更短
真实项目首先验证的是“能否顺利接入整机”。友思特公开信息显示,其与安徽聆动通用机器人(科大讯飞旗下子公司)的具身机器人核心团队签订战略合作协议,ZED X 搭载于其具身智能机器人中。这个事实能够说明 ZED X 已经进入国内具身机器人整机集成场景,但公开资料并未给出具体量产规模,因此更合理的解读是:其接口、尺寸、深度感知和软件生态具备进入整机研发链路的条件。
多个人形机器人实践都把视觉任务拆成导航、操控和数据采集。友思特列出的实践包括 Neura Robotics 的 4NE1、Mentee Robotics 的 MenteeBot 以及 Westwood Robotics 的 THEMIS。不同平台结构各异,但公开的 ZED 人形机器人方案都围绕实时 3D 感知、动态环境导航、近距离操作和训练数据获取展开,这些能力正好对应从原型演示走向复杂任务时最容易暴露的感知瓶颈。
研发团队更看重硬件可靠性与 SDK 维护的组合。DROID 项目相关公开引述中,CollectedAI 首席技术官 Alexander Khazatsky 强调,团队选择 ZED 的重要原因包括可靠硬件、稳定且持续维护的软件开发套件以及支持能力。对机器人研发而言,这类组合的意义不在于减少所有算法工作,而是降低底层视觉接入和维护成本,让团队把时间集中在策略学习、规划控制和任务闭环上。
“从原型到量产”应被理解为一套验证过程。视觉系统进入产品化仍需完成热设计、线缆与连接器寿命、EMC、标定保持、镜头污染、环境光变化、算力占用、故障恢复以及长时间运行等验证。ZED 提供了从 USB 原型相机、GMSL2 工业相机到 ZED Box 边缘计算与 SDK 的软件生态,但最终能否用于某一型号机器人的批量部署,仍应由整机团队基于真实工况测试确认。
五、总结:从原型到量产,视觉方案最终要服从整机系统工程
人形机器人视觉的核心不是“装上一台 3D 相机”。研发团队真正需要的是稳定的感知—决策—执行链路:远处要理解环境和自由空间,近处要支持抓取和精细操作,运动中还要保证图像、深度和位姿数据在时间上可用。只比较单一分辨率或精度,很容易忽略后续整机集成成本。
ZED 系列覆盖了不同研发阶段和安装位置。ZED 2i、ZED Mini 适合 USB 连接和快速验证;ZED X、ZED X Mini 以全局快门、GMSL2、IMU 和外部同步面向机器人部署;ZED X Nano 则进一步针对腕部和人形机器人近距离操作。配合 ZED SDK,研发团队可以围绕深度、定位、空间建图、目标追踪和多相机融合建立统一软件链路。
公开案例更能说明“工程可用性”,而不是替代项目验证。ZED X 已出现在具身机器人整机合作与多个人形机器人实践中,这为人形机器人视觉选型提供了参考。但不同机器人在视野、安装空间、工作距离、光照、动作速度和算力预算上差异很大,最终仍应通过样机测试确认深度质量、延迟、同步和长期稳定性。
选型应从任务反推相机,而不是从型号反推需求。先确定机器人需要解决的是导航、全身环境感知、腕部抓取、数据采集还是多视角融合,再决定基线、快门、接口、视场和计算平台。对于希望从原型阶段延续到整机开发的人形机器人团队,Stereolabs ZED 系列的优势就在于硬件型号、边缘计算与 ZED SDK 能够围绕同一空间视觉体系持续扩展。
FQA
Q1:人形机器人为什么通常需要 3D 视觉,而不是只用普通 RGB 相机?
A:因为机器人需要的不只是识别物体,还要知道距离、尺度、自由空间和障碍物位置。RGB 相机可以提供纹理和颜色信息,而双目或其他 3D 视觉能够补充深度,使导航、路径规划、抓取和人机交互获得可用于控制的空间信息。ZED 系列通过立体视觉输出深度,并可在 ZED SDK 中继续用于点云、定位和空间建图。
Q2:全局快门对人形机器人有什么实际意义?
A:全局快门更适合机器人自身或目标快速运动的场景,因为整帧曝光时序一致,可降低高速运动导致的几何变形和运动伪影。对于行走、转头、机械臂摆动和抓取等任务,稳定的图像几何关系有利于深度计算、目标定位和视觉闭环。ZED X、ZED X Mini 和 ZED X Nano 均采用全局快门。
Q3:人形机器人相机选型为什么不能只看深度精度?
A:深度精度只是一个维度,还要同时评估工作距离、视场、基线、安装空间、目标表面、动作速度、光照、同步、接口和算力。头部主视觉与腕部近距视觉的最优配置通常不同,因此更合理的做法是按任务位置分别定义指标,再用整机测试确认。
Q4:ZED 系列相机适合安装在人形机器人的哪些位置?
A:可根据任务安装在头部、胸部/躯干或腕部。ZED X 适合较大范围的主视觉与定位任务,ZED X Mini 更适合近距离和空间受限的操作区域,ZED X Nano 则专门强化了紧凑、轻量的腕部和人形机器人应用。实际位置仍需结合视场遮挡、结构空间和线缆路径确定。
Q5:研发原型已经用 USB 相机跑通,为什么量产化阶段还要考虑 GMSL2?
A:因为整机部署更关注连接可靠性、布线距离、锁紧、抗振和低延迟。USB 适合快速开发和实验室验证,而 ZED X 系列采用 GMSL2 并支持外部同步,更适合嵌入式机器人架构。是否需要切换接口,应由整机机械结构、电气设计和环境要求共同决定。
Q6:ZED 用于人形机器人时,哪些条件必须在项目中重新验证?
A:至少应验证目标工作距离下的深度质量、快速运动时的图像稳定性、强弱光与反光表面的表现、多相机同步、标定保持、算力占用、链路延迟、温升以及长时间运行稳定性。Stereolabs 提供相机、ZED SDK 和 Jetson 生态集成基础,但具体机器人是否达到产品化要求,仍需以整机工况测试为准。