强化学习驱动的双足机器人：架构解析与仿真到真机实战

先讲个背景。前阵子在开源社区刷到一个微小型双足鸭形机器人系统，机械结构不算复杂，核心亮点是强化学习驱动——不是手写步态，而是靠深度强化学习算法自己训出一套行走策略。项目把整条开源架构都摊开了：3D打印图纸、嵌入式固件、仿真模型、训练脚本、部署节点，从零到一完整闭环。我花了一周时间把它从头到尾复现了一遍，中间踩了不少坑，也把很多设计细节搞明白了。

这篇文章就把这套机器人系统做一个深度解析：为什么双足用强化学习更靠谱、开源架构各层怎么选型、状态空间和奖励函数怎么设计、仿真到真机迁移有哪些坑，以及常见训练故障怎么排查。适合两类人看，一类是有ROS和嵌入式基础、想上手强化学习实体项目的工程师，另一类是会跑PPO/SAC但没怎么碰过真实硬件的算法同学。下面直接进正题。

1. 项目定位：微小型双足鸭形机器人为什么值得做

1.1 从“能走”到“会走”：强化学习的核心价值

双足步行这个话题，放在大型人形机器人上已经够难了，放到一个几百克、3D打印壳体的微型机器人身上，难度不减反增。机械加工精度有限、舵机响应延迟明显、传感器噪声占比大——这些问题让传统基于模型的控制方法很尴尬。你辛辛苦苦建一个倒立摆模型，算好ZMP轨迹，真机上一个舵机零点偏了1度，整套参数就全废了。

强化学习在这里的逻辑完全不一样。它不手工设计每一步的姿态轨迹，而是给定一个目标“往前走、别摔倒”，让策略网络在大量试错中自己摸索关节角度和力输出的时序配合。微型双足这个场景特别适合这种端到端方式，因为它不要求精确的运动学或动力学模型，只要状态采集和奖励信号给得合理，网络就能自己把步态“长”出来。

我见过不少朋友上来就问“这鸭子是拿什么控制算法跑的”，潜台词是找一个现成的步态库或者插值轨迹。但把这类开源项目拆开看会发现，控制协议只是辅助，核心资产是训练出来的神经网络权重。真正困难的不是写那个控制循环，而是设计出一套在仿真里能收敛、在真机上能跑的策略生成流程。

“会走”的定义也要说清楚。不是仿真里能走两千步就叫会走，而是它能在桌面、地毯、轻微斜坡、手推干扰下都保持前向行进。手写步态想覆盖全场景变化几乎不可能，但强化学习策略是在随机扰动中训练出来的，天然对地面材质变化、外力干扰有更强的鲁棒性。这也是这个项目最值得借鉴的地方：用数据驱动替代手工调参，把泛化能力直接训练到参数里。

1.2 开源架构的构成与选型逻辑

整套开源架构可以拆成四层：机械硬件层、嵌入式控制层、仿真训练层、部署运行层。

机械硬件层包含所有3D打印模型、BOM清单和装配说明。鸭形外壳不全是卖萌——它整体重心低、腹部浑圆，配合宽大的蹼足，既降低跌倒时的损坏概率，也把电池、IMU这些配重件的位置固定得很合理。

嵌入式控制层一般用STM32或ESP32这类低成本MCU，通过串口或CAN总线跟舵机驱动板通信，跑一个低延迟的关节位置闭环。这个层只干一件事：把上层送来的目标关节角度变成PWM信号，以尽量低的时延驱动舵机到位。复杂的决策不在这一层。

仿真训练层是核心，在Gazebo或MuJoCo里搭好URDF模型，用PPO这类深度强化学习算法在虚拟环境里训练步态。Gazebo强在跟ROS生态无缝集成，可以直接吃URDF、发布仿真IMU和关节状态，适合习惯ROS工作流的工程师。

部署运行层则是把训练好的模型导出为ONNX或TorchScript，挂到ROS节点上运行。节点订阅IMU和关节反馈，实时推理出下一帧的目标关节角度，再通过串口下发给MCU执行。

选型逻辑上我想强调一点：开源不是终点，可复现才是。这个项目胜在分层清晰，每一层都有独立测试入口：硬件层可以单独测舵机，仿真层可以单独跑demo，部署层也做了模型输入输出的校验脚本。出问题时能快速定位是某一层坏了，而不是整条链路黑盒。

如果你是第一次接触这类项目，建议从仿真训练层入手。先在仿真里让虚拟鸭子走起来，再去买舵机焊电路。硬件调试的挫败感远高于软件调试，但软件调试学到的原理能帮你在硬件上少烧很多冤枉钱。

2. 硬件设计与仿真建模：让机器人“活”起来

2.1 机械结构设计要点

微型双足鸭形机器人的机械部分，关键原则是“够用就好，但别省掉该有的自由度”。每条腿至少三个自由度：髋关节负责抬腿和侧摆，膝关节负责折叠，踝关节负责脚掌落地姿态的微调。六自由度加在一起，状态空间已经相当可观，如果连杆长度再设计得不合理，训练难度会直线上升。

舵机选型是第一个坑。SG90轻但扭矩小、塑料齿轮容易扫齿；MG996R扭矩大但重量和体积撑不起“微型”两个字；我实际用下来，MG90S金属齿轮版本是平衡点，单只重量9g左右，堵转扭矩1.8kg·cm，足够撑起整个鸭身，响应速度也够用。买回来一定要先做一致性测试——同一型号的不同个体在零位和极限角度上的偏差挺大，这在仿真里不存在，在真机上非常致命。

3D打印方面，外壳用PLA够了，受力结构用PETG更耐冲击。关键连接处不要直接打印螺纹，容易滑丝，我习惯预埋热熔铜螺母。还有一个细节值得单独说：重心规划。鸭子外观看起来是头部偏重，但实际行走控制上，质量中心应该尽量落在两足支撑多边形的中央偏后位置，这样抬前脚时整个身体不容易前栽。我的做法是在鸭嘴壳体内侧预留电池仓，用电池前后位置来配平重心。

装配完成后，把每根连杆的质量、长度、质心位置记录下来。给仿真模型做标定时，这些数据比舵机型号还重要。我自己吃过亏：仿真里参数全用默认URDF值，结果真机站起来左右摇摆幅度比仿真大两倍。后来才查明白，我在鸭头上加了眼睛装饰，重心前移了8mm，仿真模型完全没反映这一点。

2.2 仿真环境搭建：Gazebo与URDF的细节

仿真建模是强化学习流程的第一道闸门。URDF文件里的每个link不仅要写质量，还得写准确的惯性张量。很多新手图省事，把inertia设成默认值，结果Gazebo里模型像果冻一样抖个不停，训练出来的策略自然一塌糊涂。

我建议用Fusion 360或SolidWorks导出真实模型的惯性参数再填进URDF。实在没有CAD文件，就用官方几何近似，但一定要在仿真里做一次自由落体和推倒测试，观察物理表现是否符合直觉。摩擦系数也要实测：脚掌是橡胶底还是PLA光面，参数差异很大。我通常先设mu=0.8、mu2=0.6，再通过领域随机化让训练过程自己吸收误差。

Gazebo的控制器频率要特别注意。双足步态对控制延迟极其敏感，我一般把仿真更新率设在500Hz以上，控制回路至少100Hz。CPU扛不住就降低模型网格数，但不要降控制频率——低频控制会让策略学出一堆高频振荡的补偿动作，真机上根本执行不了。

URDF里还有个容易被忽略的东西：Gazebo标签里的kp和kd参数，它们模拟关节电机的刚度和阻尼。数值太大会僵硬，太小会软绵绵。保守做法是kp=50、kd=2.0起步，然后逐步调增直到鸭子能站立不发抖。

如果你不想从零搭环境，可以直接复用项目仓库里的Gazebo仿真包，模型、world、launch文件都现成。但强烈建议自己改一遍惯性和摩擦参数，否则复现出的项目大概率只能在仿真里走，上不了真机。这不是玄学，仿真模型的精确程度直接决定了仿真到真机的迁移缺口。

2.3 状态空间与动作空间设计

强化学习训练出来的神经网络，输入什么、输出什么，直接决定了问题的最简化边界。

我最终把状态空间定为四部分：当前各关节角度、各关节角速度、IMU测出的roll/pitch/yaw角速度和三轴加速度，以及上一时刻的动作向量。目标指令比如前进速度也作为输入的一部分，总计约22维。这里有个原则：不要一步到位堆维度。维度越高，需要的探索样本越多。先做特征精简，把能帮助网络判断“我现在处于什么姿态、刚才做了什么”的最小集合找出来。

动作空间设计有两种主流思路：位置模式和力矩模式。位置模式是策略输出目标关节角度，内部PID去跟踪；力矩模式直接输出关节力矩。对微型舵机来说，位置模式稳得多——舵机自带减速齿轮和位置闭环，响应特性相当一致。所以我的做法是：策略网络输出归一化到[-1,1]的关节角度增量，再映射成舵机目标角度。

归一化这个细节不要省。我用Gymnasium的Box(low=-1, high=1)定义动作空间，让初始化策略的输出分布居中在0附近，这样早期探索动作不会一上来就把机器人甩成陀螺。动作空间加平滑性约束，比如把相邻帧动作差值写进观察，能明显减少真机舵机抖动。

3. 强化学习算法选型与实现细节

3.1 深度强化学习算法选型：PPO、SAC与TD3的取舍

有了环境和状态动作定义，下一步是选算法。我实际跑了PPO、SAC和TD3三种主流深度强化学习算法，最后长期用的是PPO。

PPO是on-policy算法，clip机制会限制每次策略更新的幅度，训练曲线非常平稳。对双足机器人这种“步态崩一次就全崩”的任务，稳定性比样本效率更重要。你训练一晚上起来，看到的是稳步上升的reward曲线，而不是SAC常见的“突进—崩溃—突进—崩溃”。SAC样本效率高，但对温度系数、双Q网络、目标网络软更新率这些超参非常敏感，调参周期能把人耗死。TD3适合确定性策略，但初期探索容易陷入“始终不动”的局部最优，对奖励函数设计极其苛刻。

用PPO做双足任务，我给出一个基础经验参数表，可以作为调参起点：

顺带提醒一句：做算法对比时，一定要保证环境配置、随机种子、评价指标完全一致，否则得出的结论只是个人偏好，不能指导工程决策。很多人把对比表做得很专业，实际训练环境却三天两头换，这是最影响判断的事情。

3.2 因果强化学习（CRL）机制的应用思路

最近社区里高频讨论因果强化学习（CRL），核心机制是把因果推断工具嵌入强化学习流程，具体能力包括因果发现、干预训练和反事实推理。这三个能力在双足机器人项目里都有实际应用场景，不是纯理论。

因果发现阶段，算法从历史轨迹数据里学因果图，判断哪些观测变量真正影响“是否跌倒”。我Debug时发现策略学到一种退化行为：把所有关节锁死，靠倒地不惩罚混过episode。单看相关性，关节角度和reward高度相关，但从因果机制看，决定存活时长的是“脚掌是否还在支撑多边形内”，而不是“舵机温度是否升高”。把因果图引进来之后，我针对真正的原因项加大惩罚权重，比继续堆所有指标的奖励有效得多。

干预训练本质上是对状态做do运算：在仿真里强行改变某个变量，观察策略实际反应。比如把左膝角度直接钳制在0度，模型如果还能维持步态，说明左膝的贡献被低估了，需要调整状态权重。这比单纯看特征重要性更可靠，因为特征重要性测的是统计相关，因果干预才是决策的因果基础。

反事实推理则适用于故障分析：真机走几步摔倒后，可以问“假如刚才第三步的roll值没有飘到0.3rad，这次摔倒还会发生吗？”这个问题很难直接回答，但CRL能基于已学环境模型做反事实采样。我虽然没有在完整训练管线里完全引入独立因果模块，但在消融实验和故障追溯上，CRL帮了大忙：状态空间从40多维精简到22维，训练收敛时间缩短了约三成。

这里可以插入一个生活化类比：冰淇淋销量和溺水率高度相关，但真正原因是天气热。你盯着相关性去调整冰淇淋店营业时间，并不能降低溺水率。因果推断要找到那个“天气热”的中介变量，在机器人身上，就是要找到真正让步态崩溃的根因。

3.3 奖励函数设计：从走到稳的分阶段策略

奖励函数是强化学习项目里的灵魂。双足步行任务，我的设计方法是分三个阶段：先走起来，再站稳，最后省能量。

第一阶段“走起来”，核心是两个项：前向速度跟踪奖励和平滑惩罚。速度跟踪奖励用高斯型：r_v = exp(-(v_target - v_x)^2 / 0.25)。把方差系数适当调大，让机器人稍微偏离目标速度也不会立刻得到极低奖励，早期训练更容易学会前进。平滑惩罚用相邻动作差的平方和：r_smooth = -0.05 * ||a_t - a_{t-1}||^2，防止策略输出剧烈抖动的动作指令。

第二阶段“站稳”，加入姿态稳定项：r_pose = exp(-(roll^2 + pitch^2) / 0.1)。分母不能太小，否则任何姿态偏差都会让奖励暴跌，策略会走向“为了不摔倒干脆不前进”的死路。跌倒处理同样重要：我不给巨额负数，而是终止episode并返回一个较大的负奖励。终止信号优先级高于一切，策略能快速学到哪些动作会导致致命状态。

第三阶段“省能量”，在训练收敛后做fine-tune时再加能耗惩罚：r_energy = -lambda * sum(|torque_i * velocity_i|)。lambda初始设为1e-4，跑出的策略每步功耗比纯速度训练低约20%，代价是速度略微变慢。我的原则是“一次只加一项”，每项先单独调好量纲再加入总奖励——多个奖励项会发生耦合，一起调很容易失控。

奖励项的量纲一致性太重要了。速度项、姿态项、平滑项如果量纲差距过大，大的项会淹没小的项，你直觉上加了姿态奖励，实际上策略毫无响应。我习惯把所有奖励项都设计成取值0到1之间的高斯形，再乘以各自权重，这样每项变化幅度可控，权重调节也更直观。

奖励函数各项汇总可以参照这个表：

3.4 离线强化学习IQL与基于模型方法的扩展

项目跑通PPO之后，我尝试了离线强化学习，主要用它来降低真机调试风险。核心思路是：把之前的仿真日志、真机运行数据收集起来做成固定数据集，用IQL（Implicit Q-Learning）从数据里学到价值函数，不再需要实时与环境交互。

IQL的实际效果在新任务上不算惊艳，但在数据覆盖足够全的旧任务上，它训练出的策略与在线PPO差距在10%以内。我现在把真机调试时采集的优质轨迹都存下来，形成经验库。以后遇到类似的步态调整需求，先用IQL从库里离线出一个候选策略，在仿真里验证，比每次从头在线训练省太多时间。

IQL最吸引人的地方是：训练过程不会在真实机器人上试错，对硬件零风险。它通过最大熵约束学习价值函数，不需要对数据分布做显式模仿，所以对数据质量有一定宽容度。缺点是数据覆盖不足时容易过估计，离线评估指标和在线表现可能差距较大，需要谨慎加正则化。

基于模型强化学习（MBRL）是另一个扩展方向：先学一个环境动力学模型，再用这个模型做规划或虚拟Rollout。双足系统动力学本身复杂，微型舵机还有迟滞、饱和等非线性，学模型难度不低。但MBRL能大幅减少真实交互次数，和IQL组合时可以用离线数据学模型，再用模型生成虚拟样本辅助策略优化，形成“离线数据+虚拟模型”的混合管线。有条件的朋友值得一试。

LAG这类前瞻引导机制对长时延场景很有价值。微型舵机从接收指令到动作到位，延迟可能高达50到100毫秒，仿真里几乎忽略，真机上会让策略慢半拍。LAG的核心思路是先预估未来状态，再基于未来状态施加引导信号，减轻延迟造成的步态振荡。我在真机部署时采用了一个简化方案：在策略网络前加了一个固定步数的状态预测器，用“提前量”补偿延迟，实测真机跌倒率下降了15%左右。

4. 训练流程与sim2real迁移

4.1 从零开始的完整训练管线

一个能跑通的完整训练管线，我拆成六个环节：

1. 搭建Gazebo仿真，确认机器人模型能稳定站立。
2. 写训练环境：用Gymnasium封装Gazebo接口，定义状态、动作、奖励、终止条件、reset逻辑。
3. 设计训练脚本：用Stable-Baselines3或RLlib作为算法底座。SB3上手快，RLlib支持大规模并行和异步训练。我先用SB3跑通小规模验证，再切RLlib上多worker并行。
4. 训练过程中定期评估：每轮训练跑一次确定性策略评估，统计“平均行走距离”“平均跌倒次数”这类物理指标，不只盯reward曲线。
5. 训练结束导出模型：使用TorchScript trace或者ONNX导出。
6. 部署：写一个ROS节点加载模型，订阅IMU和关节反馈，实时推理关节目标角度，发布给下位机。

这里最容易被低估的是评估环节。Reward曲线只能告诉你数值是不是在上升，真正关心的问题是“鸭子是否在前向移动”。我发现训练早期reward上升并不代表走得远，它也可能是学会了小幅摇摆但原地罚站。所以我在评估里加了“前向位移累计”这一物理指标，每轮打印，用这个方法筛出来的模型在真机上普遍表现更好。

训练步数上，双足鸭形任务没有想象中那么耗时。Gazebo单进程训练大约需要1000万步才能看到像样的步态，开8个并行worker后，大概两到三小时就能跑出可用模型。当然这跟奖励函数质量强相关——我一开始奖励设计不合理，跑满5000万步还是原地踏步，后来加了对方向偏差的惩罚，20分钟就看到了明显改善。

4.2 仿真到真机迁移：领域随机化与系统标定

仿真到真机是整个项目最核心的一步，很多人最后栽在这里。我的迁移第一招是领域随机化，给仿真环境加四类变化：

这四类随机化让策略学会在“不精确”的环境里生存。迁移到真机时，这些扰动正好覆盖了模型误差和制造公差。系统标定同样不能跳过：舵机零位要逐一记录实际角度与指令角度的偏移，写进补偿表；IMU要静置在水平桌面上记录漂移和偏差常数，部署前减掉。这两项标定直接影响策略网络的输入质量。

我个人的迁移习惯是“先验证再全量跑”：不直接把训练好的策略加载到鸭子身上，先在仿真里加入额外状态白噪声做压力测试，只有通过测试的模型才允许上真机。真机第一跑务必用悬吊架或绳索做保险，万一策略崩了，机器人不会直接摔烂。

真机调试的一大变量是供电电压。舵机瞬时大电流时会拉低主控电压，导致IMU数据突跳。这个问题仿真里完全没有，真机上很常见。解决方式：主控和舵机分开供电，至少用大电容组做好蓄流缓冲；同时在推理循环里加一层轻量卡尔曼滤波，只把滤波后的姿态送入网络。

4.3 真机部署后的观测与迭代

模型上真机跑起来只是第一步，最重要的习惯是记录数据。每个episode的关节指令、IMU反馈、舵机电流、是否跌落的标志都要落盘。刚开始我靠肉眼给策略打分，结果不同时刻、不同地面条件下很难保持标准一致。后来把所有真机数据存成和仿真相同格式的字典，直接用训练代码里的评估回调离线打分，这样就能在同一套指标下对比仿真和真机表现。

部署后的迭代路径，我推荐“差距分析三步法”。第一步，统计仿真和真机的reward差在哪里，找差距最大的单项指标。比如姿态项差距大，说明真机IMU噪声比仿真大；速度项差距大，说明舵机响应延迟没被充分模拟。第二步，针对差距项补随机化或标定。第三步，用离线经验库加IQL重新训练一个修正策略，再逐步上线。这套循环每轮大概一个多小时，能非常高效地拉近仿真与真机的距离。

一个特别值得强调的观点：仿真到真机不是一锤子买卖，而是持续过程。硬件磨损、电池电压变化、地面材质不同，策略都需要微调。整个项目一开始就应该把“重新训练”的成本降下来——环境脚本化、日志结构化、超参版本化，这三点做到，后续迭代维护会轻松很多。

5. 常见问题与排查技巧实录

5.1 训练不收敛：先查奖励函数量纲与中止条件

训练500万步，reward还在原地波动，我的排查顺序是：先确认奖励函数胜利条件是否可达成，再验证单步动作幅度是否足够大，最后检查终止条件是否被无意中频繁触发。

一个典型问题是“静止不动”：策略网络探索几次后发现，站着不动虽然拿不到速度奖励，但也不会触发跌倒终止，于是逐渐收敛到这种策略。解决办法分两步：一是把速度奖励下限抬高，让“微动”也能获得正奖励；二是在episode里设定最大步数，超时强制结束并给负分，逼着策略必须行动。这个坑我在多个项目里都踩过，每次加终止条件时都要想清楚：这个条件会不会无意中鼓励了“不作为”。

排查顺序可以整理成速查表：

5.2 训练发散：归一化与正则化的双重保险

训练中期reward曲线突然断崖式下跌，通常发生在策略已经学会走路但更新步过长导致“策略震荡”。PPO虽然用clip限制更新幅度，但reward scale波动很猛时仍有风险。我的保险做法是：把所有观测项用running mean和std归一化到零均值单位方差，这步能显著提高训练稳定性。如果用的是RNN策略，记得加梯度裁剪；用MLP时，可以加一点权值衰减，防止数值爆炸。

另外注意检查环境里是否出现NaN。Gazebo在某些接触条件下会产生无穷力，导致状态变成NaN。如果没在接口层过滤，训练器会把NaN传给策略，然后所有梯度都变NaN，整次训练白跑。我的做法是在状态读取时加sanity check，发现任何一个数不是有限浮点数，立即重置episode并记录日志。

5.3 真机抖动：控制器频率与滤波

真机跑起来时鸭子高频抖动，多半是三类原因。第一，策略推理频率不足，只跑30Hz的话，舵机每33ms才收到新指令，步态控制本身就是断续的。解决方式：把推理频率提到100Hz以上，同一NN模型在树莓派上跑100Hz完全可行。第二，传感器噪声被策略放大了，解决方式是给IMU加简单滑动平均窗口或低通滤波。但这里有矛盾——滤波增加延迟又会抵消推理频率提升的效果，所以滤波窗口不建议超过3帧。第三，策略网络在训练时输出范围太宽，动作增量过大。在部署代码里把动作输出乘以一个0.8的比例系数，通常能立刻缓解抖动。这个“缩动作幅度”的技巧在仿真里没必要，真机上却有奇效。

5.4 多机器人场景：路径规划与策略共享

如果手里不只有一只鸭子，而是要做鸭子编队或借鉴多AGV路径规划逻辑，这里有几条经验可以直接用。多台微小型双足机器人协同，第一优先级是把全局路径规划从策略网络里剥离开，放在高层规划器里。让强化学习策略只负责“稳定跟随目标速度/航向角”这类低层控制，高层用A*或Dijkstra做全局路线规划。这样每台机器人的观测空间不用包含全局地图，训练简单很多。

多机协同的奖励函数可以加一个避障软约束：与其他机器人距离小于安全阈值就给惩罚项。但最好先单机训练完成基础运动技能，再加多机场景微调——联合训练的状态空间爆炸会让收敛难度翻倍。多AGV路径规划里常用的共享经验策略在双足编队里同样适用：各机器人独立感知、共享策略参数，中央节点只负责全局调度和冲突消解，不参与每个机器人内部的关节控制。

5.5 异步训练与资源调度实践

最后说异步训练。单个双足机器人在Gazebo里一秒只能采集几百帧数据，训练到能看步态需要几小时。解法是异步并行：开多个Gazebo实例同时采样，不同随机种子、不同随机物理参数，把经验样本汇入共享回放池或传给learner。A3C、IMPALA都属于这类架构。

我自己的实操是用RLlib搭了一套异步训练流程：8个worker在8个CPU核上跑Gazebo，一个learner在GPU上训练，数据通过Ray的object store传输。这套方案跑下来吞吐量是单进程的5倍以上。注意每个worker必须设置不同随机种子，否则多机并行等同于同一环境的复制，反而造成相关性误差。

资源调度方面，建议先统计单个Gazebo实例的CPU占用率和内存峰值，按核数分配worker数。Gazebo是多线程物理引擎，在超线程环境下跑反而可能变慢；我用taskset把每个worker固定到两个物理核心上，实测稳定性提升很明显。

6. 写在最后的实操体会

这套微小型双足鸭形机器人项目，对我最大的收获不是学会了PPO或跑通了Gazebo，而是建立起了一条完整的“设计—仿真—训练—部署—迭代”闭环思维。以前写控制代码总在追求数学公式的优雅，现在发现，在物理硬件上真正有价值的往往是那些不那么优雅但足够稳定的工程处理——领域随机化、动作平滑、传感器滤波、实验记录，每一样单独看都平平无奇，组合起来就是仿真到真机能走通的关键。

最后分享一个踩过很多次才明白的技巧：训练阶段一定要定期打快照，不只是保存模型权重，还要保存训练配置、环境参数、随机种子和reward曲线日志。强化学习实验里最容易被偷走的就是复现性。你在某天凌晨三点调出一组很漂亮的参数，如果不做版本记录，第二天醒来很可能已经想不起来改了什么。我现在所有实验都建了一个类似experiments/20250115_duck_walk_v3的目录，里面放config.yaml、reward记录、视频片段、真机日志。这套习惯让后续每次迭代都有据可查，也让朋友复现项目时能少走一大半弯路。

如果你正准备照着开源方案做一个自己的微型机器人，我的建议是：不要跳过仿真验证直接上真机，也不要迷信某一种强化学习算法。动手之前先把URDF里的惯性参数和摩擦系数调准；动手之后每跑通一个环节就记录一次日志。项目本身不难，难的是让整条链路每一步都可解释、可复现、可迭代。能做到这些，你手里的鸭子就不只是会走，而是能在各种意外状况下都稳稳地走下去。