1. TOLEBI框架：双足机器人的容错运动革命
当人形机器人TOCABI在实验室里完成一组流畅的阶梯下降动作时，现场研究人员都屏住了呼吸——因为此刻它的右髋关节正处于人为锁死状态。这种在传统控制框架下必然导致跌倒的硬件故障，却被TOLEBI框架成功化解。这个由首尔国立大学团队开发的强化学习系统，正在重新定义双足机器人的可靠性边界。
双足 locomotion（移动）一直是人形机器人研究的圣杯。与四足机器人相比，双足系统在稳定性方面存在天然劣势——单腿故障就可能导致灾难性跌倒。传统基于模型的控制器需要为每种故障场景预先编程应对策略，而TOLEBI通过强化学习实现了"故障自愈"能力。其核心突破在于将关节状态估计、课程学习和特制奖励函数融合到一个统一的训练框架中，使机器人能在毫秒级时间内自主适应关节锁死、动力丢失等突发状况。
2. 核心架构解析
2.1 系统组成与工作流程
TOLEBI的架构犹如一个精密的生物神经系统（图2）。其核心由三个模块构成：
关节状态估计器：采用GRU网络实时处理本体感受数据（关节角度、角速度等），以500Hz频率更新12个关节的健康状态。与常规故障检测系统不同，该模块在训练过程中与策略网络同步优化，形成独特的"故障感知共生"关系。
策略网络：基于PPO算法的双分支MLP结构（256×2隐藏层），输入包含51维状态空间：
state = [ base_orientation, # 3维欧拉角 joint_positions, # 12维关节角度 joint_velocities, # 12维关节角速度 phase_info, # 2维步态相位(sin/cos) command_velocity, # 3维指令速度 base_velocity, # 6维基座速度 joint_status # 13维关节状态(1系统+12关节) ]动作调制模块：除输出12个关节的扭矩命令外，创新性地引入第13个动作维度——相位调制量aδϕ。这个设计灵感来源于人类跛行时会自然调整步频的现象，允许机器人动态压缩故障腿的支撑期。
2.2 故障模拟机制
在Isaac Gym仿真环境中，TOLEBI采用"随机掩码"技术注入两类故障：
- 关节锁死：用PD控制将关节固定在故障瞬间的位置：
τ_j = K_p(q_j^0 - q_j) - K_d\dot{q}_j - 动力丢失：直接置零扭矩输出，模拟电路断路：
τ_j = 0
每轮训练中，90%的并行环境会随机触发故障，其中50%概率为锁死，50%为动力丢失。这种高强度的故障暴露策略，使最终策略具备惊人的鲁棒性。
3. 关键技术突破
3.1 容错奖励函数设计
TOLEBI的奖励函数（表I）采用三层结构设计，犹如给机器人植入"生存本能"：
任务层奖励：确保基础移动能力
- 线性速度跟踪：exp(-‖v_cmd - v_actual‖²/0.45²)
- 足底接触同步：匹配DSP/RSSP/LSSP步态相位
调节层奖励：维持运动合理性
- 身体姿态惩罚：exp(-50*(roll² + pitch²))
- 冲击力抑制：exp(-∑|F_z - 1.4W|/140)
容错层奖励（创新核心）：
- 轨迹模仿奖励：引导故障关节尽量接近正常轨迹
- 接触力跟踪：降低故障腿的着地冲击（图3）
- 跌倒终止惩罚：-100分强负奖励
特别值得注意的是接触力跟踪奖励的设计。当检测到关节故障时，该奖励项的权重从0提升至0.3，促使机器人自动减轻故障腿的负重。实测数据显示，这能将着地冲击力从2000N（机器人自重20倍）降低到安全范围内。
3.2 课程学习策略
TOLEBI采用渐进式训练策略（算法1），如同教婴儿从爬到走：
基础阶段（0-20s平均步态周期）：
- 仅正常工况训练
- 重点优化能量效率（关节扭矩奖励项）
容错阶段（>20s）：
- 注入随机故障
- 激活容错奖励项
- 引入状态估计器训练
抗扰阶段（>24s）：
- 增加50-250N随机推力扰动
- 随机化动力学参数（表IV）
这种分阶段策略解决了直接训练中的"灾难性遗忘"问题——早期实验显示，直接暴露故障会导致策略收敛到保守的蹲姿，丧失自然步态。
4. 仿真与实物验证
4.1 仿真环境测试
在4096个并行环境中，TOLEBI展现出惊人的适应性（表II）：
- 髋关节锁死场景：成功率从基线的23.78%提升至91.94%
- 踝关节动力丢失：从0%突破到64.4%
- 综合故障适应力：关节锁死81.27%，动力丢失52.67%
特别值得注意的是踝关节故障的改善。传统方法在此类故障下几乎立即跌倒，因为踝关节直接影响平衡。TOLEBI通过相位调制自动缩短故障腿支撑期，形成类似人类"跛行"的步态。
4.2 实物机器人挑战
将策略迁移到TOCABI机器人时，团队面临两大现实问题：
延迟补偿：实际关节响应存在1-2ms延迟
- 解决方案：在动作空间添加高斯噪声(σ=0.05)
- 训练时随机化延迟(0.5-1.5ms)
传感器噪声：IMU数据存在±0.025m/s误差
- 对策：在观测空间注入等效噪声
- 采用10帧历史观测缓冲(n_stride=2)
实物测试结果（图4）显示，即使在右髋锁死情况下，机器人仍能保持0.3m/s的稳定行走速度，速度跟踪RMSE仅0.0833，远优于无容错设计的0.1795。
5. 阶梯下降的终极考验
在最具挑战性的9cm阶梯下降测试中（图5），TOLEBI展现了真正的智能适应性：
- 故障响应时间：从检测到关节锁死到调整步态，仅需80ms
- 动态调整策略：
- 健康腿主动增加15%步长
- 故障腿膝关节弯曲度减少20°
- 躯干前倾角自动增加5°以补偿
值得注意的是，这些策略完全由神经网络自主涌现，未经任何显式编程。在10次重复试验中，机器人成功完成8次下降，期间承受的最大侧向扰动达到1.5N·m。
6. 工程实践启示
在实际部署TOLEBI时，我们总结了以下关键经验：
训练数据平衡：
- 正常/故障样本比例保持1:9
- 每类故障均匀采样（避免过拟合特定故障）
实时性优化：
- 将GRU状态估计器量化到INT8
- 推理耗时从3.2ms降至0.8ms
安全冗余设计：
- 保留基于模型的紧急停止模块
- 当预测接触力>2.5W时触发保护
sim-to-real技巧：
- 随机化地面摩擦系数(0.6-1.4)
- 添加虚拟关节间隙(0.5-1°)
当前框架仍存在改进空间，特别是对多关节同时故障的适应能力有限。我们正在探索多智能体强化学习架构，让每个关节具备局部决策能力，这将可能是下一代容错控制系统的发展方向。
