TensorFlow+PyBullet：六轴机械臂强化学习实战与避坑指南

简介：这是一份基于TensorFlow.js实现的6轴机器人手臂强化学习测试项目，面向对机械臂控制、路径规划与Web端AI训练感兴趣的开发者。项目提供简化的六轴机械臂模型，目标是通过训练模型将手臂尖端移动到三维空间中指定位置。资源包含二维与三维两套渐进式测试案例：先以10x10正方形地图演示基于距离奖励的寻路，再拓展至10x10x10三维地图，便于理解强化学习中的状态、动作与奖励设计。压缩包共11个文件，主要包括HTML交互页面、JavaScript脚本、JSON配置、Markdown说明、机械臂3D模型（GLB）及CSS样式，大小1.88MB。已有1261人浏览学习。通过学习可掌握用TensorFlow.js搭建简易强化学习环境、利用3D模型构建机器人仿真场景及逐维递进的奖励设置思路，适合作为入门Web端机器人AI实验的参考。

1. tensorflow-robot-arm：让机械臂先把试错的成本付在仿真里

第一次把机械臂接到强化学习上，我干过一件后悔药都没得吃的傻事：策略还在随机探索时，就带着未封顶的力矩直接转关节，结果一次过冲撞断了夹爪的限位销。所以后来带人做这类项目，开头永远是同一句话——仿真先行。所谓“tensorflow-robot-arm：6轴机器人手臂的强化学习测试”，就是在一个能模拟物理的虚拟环境里搭出六轴机械臂模型，配合 TensorFlow 的训练接口，让机械臂在虚拟空间把“抓取、推动、避碰”这类任务学出来，再考虑往真机迁移。这个方向不是零基础强化学习入门第一课，它适合已经会 Python 和基础神经网络、想把深度强化学习算法从 Atari 这类游戏挪到连续控制场景的从业者。

2. 跑通最小仿真环境：PyBullet 里让 6 轴手臂“活”起来

在谈算法之前，得先让机械臂在仿真里能响应指令。很多人在这一步就翻车：装了 TensorFlow 1.x 之后发现和 PyBullet 的接口对不上，或者加载 URDF 模型后完全不知道哪些关节是可控的。这里先把环境搭起来，再谈强化学习。

机械臂的“6轴”意味着 6 个旋转关节，每个关节多一个自由度，状态空间就多一维。直接在这 6 个自由度上做随机探索，大部分动作都会落在“把手臂甩成奇怪姿势”的区域。所以在搭建环境之前，先要把仿真器选型、控制接口和初始位形这三个事情定下来。

2.1 仿真器选型：为什么先选 PyBullet 而不是 MuJoCo

做 6 轴机械臂强化学习，仿真器一般会在 PyBullet 和 MuJoCo 之间选。MuJoCo 的物理精度和计算速度确实更高，新版本也开源了，但它对机械臂这类带闭合链或复杂接触的任务，建模和调参的门槛更高。PyBullet 用的 Bullet Physics 引擎虽然接触求解粗糙一点，但胜在三件事：URDF 直接加载、自带的逆运动学求解器、以及和 Gymnasium 接口拼在一起几乎不需要胶水代码。

我一般会坚持用 PyBullet 做第一版，理由很朴素：调参时能打开 GUI 可视化窗口，看着机械臂每个动作的实际效果。强化学习训练初期，策略完全是随机行为，可视化窗口里能看到“机械臂在乱甩”还是“机械臂在往目标方向挪”，这个观察比损失函数的曲线更直观。等算法稳定了，再把 PyBullet 换成 MuJoCo 提升训练速度，这是后话。

2.2 TensorFlow 与 PyBullet 安装后的第一行验证

环境准备这一步没什么玄学，把版本说清楚就能少踩一半坑。TensorFlow 直接用 2.x 系列，Gymnasium 用 0.29 以上的版本，PyBullet 用当前 pip 源里的最新版即可。装好之后，先不要急着写强化学习，用一段很小的脚本确认三件事：仿真器能连接、URDF 能加载、机械臂能收到控制指令。

pip install tensorflow pybullet gymnasium

装完之后跑下面的最小验证脚本，我一般会在新环境配好的第一分钟就执行它：

import pybullet as p # 用 DIRECT 模式连接，不弹 GUI 窗口，适合服务器上快速验证 physics_client = p.connect(p.DIRECT) # 使用 PyBullet 自带的 UR5 模型；useFixedBase=True 表示底座固定 robot_id = p.loadURDF("ur5/ur5.urdf", useFixedBase=True) # 遍历所有关节，打印关节索引、名称和类型 num_joints = p.getNumJoints(robot_id) for i in range(num_joints): info = p.getJointInfo(robot_id, i) print("joint index:", i, "name:", info[1].decode("utf-8"), "type:", info[2]) # 设置第 2 个关节的目标位置为 0.5 弧度 p.setJointMotorControl2( bodyUniqueId=robot_id, jointIndex=2, controlMode=p.POSITION_CONTROL, targetPosition=0.5, )

这段脚本里最值得注意的参数是controlMode=p.POSITION_CONTROL。PyBullet 的关节控制分位置控制、速度控制和力矩控制三种，强化学习里最常见的误区是上来就用TORQUE_CONTROL，结果因为方向反了或者力矩太大，机械臂直接上天。先用位置控制跑通整体链路，再切换到力矩控制，是更稳妥的路径。

2.3 关节控制接口：位置控制、速度控制与力矩控制的边界

在三类控制方式里，位置控制最简单，机械臂的底层 PID 会把关节转到目标角度。强化学习代理不需要知道底层怎么发力，只需要输出目标角度。代价是：位置控制本身带有隐藏的动力学，代理学到的策略在真机上通常需要额外适配。力矩控制则直接暴露动力学特性，输出的是关节力矩，学习难度直线上升，但迁移到真机时更可控。

我一般建议第一版用位置控制，把动作空间定义成“6 个关节的目标角度变化量”，等策略在仿真里收敛、稳定抓取成功率超过 80% 以后，再换成力矩控制重训一版对比效果。还有一个容易忽略的点：PyBullet 里必须显式调用setJointMotorControl2给每个关节设置控制模式，否则有些关节会保持在自由转动状态，训练时你会看到机械臂像面条一样瘫软。

3. 状态空间、动作空间与奖励函数：强化学习在这里“显形”

环境动起来之后，下一个问题不是“用什么算法”，而是“输入输出到底怎么定义”。很多人在这一步把深度强化学习算法当成黑匣子，随便写几个观测变量就丢给 PPO，结果训练 100 万步仍然不收敛，然后开始怀疑算法有问题。实际上问题十有八九出在状态和动作的设计上。

3.1 状态空间：关节角、末端位姿还是像素

6 轴机械臂的状态观测一般有几种设计路线。第一种是直接用 6 个关节角加 6 个关节角速度，12 维向量，信息完整，但策略学起来很慢，因为机械臂末端在哪、和目标距离多远，这些关键信息都藏在关节角背后，需要网络自己隐式算出来。第二种是直接用末端位置加姿态加目标位置，维度低，学得快，但丢失了机械臂本身的构型信息，容易出现多解或奇异位形。第三种是像素输入，直接让网络看仿真器渲染的画面，最接近真实场景，但训练成本极高，一般做研究才用。

我常用的做法是混合第一和第二种：状态向量拼接关节角、末端位置、末端到目标的方向向量和距离标量。这样既给了策略直接的几何信息，又保留了关节层的细节。注意所有状态都要归一化到 0 到 1 或负 1 到正 1 的范围，这项看似简单的工作直接影响训练的稳定性。

3.2 动作空间：连续控制与归一化

动作空间的设计比状态空间更容易被忽视。PyBullet 自带的位置控制接口接受弧度值，但不同关节的合理范围差异很大，有的关节能转 360 度，有的只有 60 度。如果直接把网络的输出当目标角度，很容易让某些关节持续逼近极限位置，然后机械臂卡在奇异位形，强化学习训练就卡死在那里不动了。

正确做法是让网络输出每个关节的“角度增量”，并对这个增量做归一化。具体实现上，动作向量的每个分量范围是负 1 到正 1，对应每个关节最大允许步长。比如第 3 个关节的步长限制是正负 0.2 弧度，那么代理输出 1.0 时，实际目标角度就是当前角度加 0.2 弧度。这样动作空间变成了一个超立方体，配合 Tanh 激活函数作为动作输出层，训练初期的随机探索不会把机械臂甩至极限。

3.3 奖励函数：稀疏奖励与密集激励的取舍

奖励函数是强化学习里“玄学”浓度最高的地方。一种极端是稀疏奖励，机械臂抓到目标物体才给 1 分，其他情况都是 0。这对随机策略来说几乎学不动，因为探索一百万步也不一定碰到一次成功的边界条件，奖励信号完全消失。另一种极端是过度密集奖励，每一步都对“移动到目标”的进程打分，结果策略学会了原地绕圈，因为绕圈也能刷距离分。

我自己习惯用分层设计：主体奖励是末端到目标距离的负值，即距离越近奖励越高，奖励函数形如r = -distance，每步计算一次。在此基础上，当距离小于 5 厘米时，额外加上一个稀疏大奖励，比如 1.0，表示“抓取区域已进入可执行范围”。同时加一个小惩罚项，惩罚关节角速度平方和的均值，抑制抖动。这样密集信号引导探索方向，稀疏信号确认阶段性成果，惩罚项压制动作粗糙度。写进代码时，这个奖励函数要单独抽成一个方法，因为后面调参几乎每天都在改它。

def compute_reward(state, action, next_state): # 状态向量里约定好的索引：末端位置 3 维，目标位置 3 维 ee_pos = next_state[6:9] goal_pos = next_state[9:12] dist = np.linalg.norm(ee_pos - goal_pos) # 主体奖励：距离越小奖励越高 reward = -dist # 稀疏附加：进入抓取区域给明确的正奖励 if dist < 0.05: reward += 1.0 # 惩罚关节抖动：动作平方和过大会压掉奖励 joint_penalty = 0.1 * np.sum(np.square(action)) reward -= joint_penalty return reward

设这个奖励函数时，需要特别留意量纲匹配。如果主奖励和惩罚项的量级差太多，比如距离通常在 0.3 米左右，动作值在 0.1 左右，那么0.1 * 0.01 = 0.001的惩罚分量几乎不影响训练。反过来，如果距离被归一化成了 0 到 1 的小数值，而奖励函数里的系数还是按老标准设，就会出现训练初始阶段 loss 直接爆炸的情况。每次改奖励函数，我的习惯是先在随机策略下跑一千步，打印出各奖励分量的均值，确认量级合理再正式开训。

4. 用 TensorFlow 实现 PPO：从网络结构到训练循环

状态、动作、奖励定好之后，就到主角登场：深度强化学习算法。目前做连续控制，PPO 仍然是默认选择，因为它对超参数的敏感度比其他算法低，训练崩溃的概率小一些。SAC 在样本效率上更好，但调奖赏权重和温度系数的难度更高。第一次跑通整个流程，PPO 是最不容易让人半途而废的。

4.1 从 Keras 到 TF2：自定义网络的陷阱

网上能找到很多用 Keras 写 PPO 的旧教程，用的是 TensorFlow 1.x 那种tf.Session和tf.compat.v1的写法，直接搬到 TensorFlow 2.x 会有一堆报错。我建议统一用tf.keras.layers或tf.Module搭网络，避免兼容层代码。一个常见的坑是：PPO 需要保存旧策略用于计算概率比，新手容易把旧策略的网络权重和目标网络搞混，导致训练时新旧策略混用计算出来的重要性权重全错。

网络结构这块，Actor 和 Critic 前几层可以共享特征抽取层，但在机械臂这类低维输入任务上，共享的收益有限，反而是两个独立网络更稳。我的默认配置是：两层 256 个神经元的隐藏层，Actor 输出层用 Tanh 激活，输出动作均值，再加一个独立的标准差参数向量，初始化为 0.5。Critic 输出层是单节点，输出状态价值。这个网络规模对 6 轴机械臂这种任务已经足够，单位置的 512 隐藏层收益不大，反而拖慢训练。

4.2 自定义训练循环：核心代码与参数选值

用 TF2 的自定义训练循环写 PPO，核心代码在损失函数里。这里给出最小可跑的训练循环框架，关键参数用注释标注了。

import tensorflow as tf class PPOLoss(tf.keras.Model): def __init__(self, hidden_sizes=(256, 256)): super().__init__() # Actor 网络：输出动作均值，Tanh 激活把输出压到 [-1, 1] self.actor_shared = tf.keras.Sequential([ tf.keras.layers.Dense(hidden_sizes[0], activation="relu"), tf.keras.layers.Dense(hidden_sizes[1], activation="relu"), ]) self.actor_mean = tf.keras.layers.Dense(6, activation="tanh") # Critic 网络：输出状态价值 self.critic = tf.keras.models.Sequential([ tf.keras.layers.Dense(hidden_sizes[0], activation="relu"), tf.keras.layers.Dense(hidden_sizes[1], activation="relu"), tf.keras.layers.Dense(1, activation=None), ]) def call(self, state): shared = self.actor_shared(state) mean = self.actor_mean(shared) value = self.critic(state) return mean, value def ppo_loss(new_log_prob, old_log_prob, advantage, clipped_epsilon=0.2): # 重要性采样比率：新策略概率除以旧策略概率 ratio = tf.exp(new_log_prob - old_log_prob) # 无限制目标和裁剪目标的差距，取最小值防止策略更新过猛 unclipped = ratio * advantage clipped = tf.clip_by_value(ratio, 1.0 - clipped_epsilon, 1.0 + clipped_epsilon) * advantage return -tf.reduce_mean(tf.minimum(unclipped, clipped))

解释一下这段代码里最重要的参数：clipped_epsilon默认取 0.2，旧策略和新策略的比值被限制在 0.8 到 1.2 之间。这个值调大，策略更新步伐变大，训练更快但也更容易崩；调小则更稳但更慢。机械臂任务一般从 0.2 起步，如果观察到训练 loss 出现尖刺式震荡，就改成 0.15 或 0.1。另外，advantage 这里用的是 GAE，lambda 系数取 0.95 是通用值。

标准差参数的设置是另一个坑。PyBullet 机械臂动作空间的初始探索方差，直接影响策略早期探索的覆盖率。默认标准差为 0.5，如果探索幅度过大，机械臂会到处甩，看起来“很热闹”但根本没碰到目标；标准差调成 0.1，训练又容易陷入局部最优。我的经验是，前 1 万步用 0.5 保证全覆盖，之后线性衰减到 0.05 左右固定。

4.3 训练观测：从 TensorBoard 日志里判断该不该停

PPO 训练不是丢进去就能等结果的，需要持续观察几个指标。最直接的是回报均值，机械臂抓取任务里，回报均值从负值缓慢上涨到正值，然后趋于稳定。第二个指标是策略损失和 Critic 损失，Critic 损失持续下降说明价值估计在变准；如果它突然跳高，通常是环境状态越界或奖励函数出问题。第三个指标是动作输出分布，TensorBoard 里打印动作均值向量，如果某个关节长时间保持在正 1 或负 1 附近，说明该关节被顶到了动作边界，机械臂可能卡住。

我在训练脚本里会用tensorboard目录直接存日志，每个 epoch 写一次平均距离、平均奖励和损失值。跑了 50 万步之后，回报曲线大体呈现“前期缓慢爬坡，中期斜率变陡，后期波动变小”的形状。如果出现“前期快速上涨然后一周不涨”的形态，不是策略不行，大概率是奖励函数里的引导梯度消失了，那个阶段机械臂离目标永远固定在某个距离上，怎么调整关节角度都没有改善，需要回头检查状态归一化。

5. tensorflow-robot-arm 训练避坑：5 条让策略翻车的血泪经验

训练机械臂强化学习，遇到问题几乎不是算法本身的锅，而是环境细节没有对齐。这里记录最常见的五条踩坑记录，每一条我都亲手跳过，按现象、原因、解决的顺序写清楚。

5.1 翻车记录一：仿真器步长设太大，机械臂穿模不自知

现象：训练时回报曲线看着在涨，但打开 GUI 一看，机械臂末端经常穿进桌面或目标物体内部。策略学会了“钻进物体里”。

原因：PyBullet 的setTimeStep默认是 1/240 秒，但很多人会在加载模型后手滑把步长改成 1/60 秒来加速训练。物理步长变大后，接触检测变得粗糙，末端高速移动时直接穿透薄壁物体。

解决：把步长设回 1/240，并降低每步的位置控制步长上限。训练速度经过测量，并没有因为步长减半而显著下降，因为机械臂任务是稀疏交互场景，大部分时间都在移动，不是接触仿真，物理步长的加速收益很小。

5.2 翻车记录二：奖励函数量纲爆炸，loss 图的纵轴吓死人

现象：训练第 5000 步，Critic loss 从 0.01 级别突然跳到 10 以上，之后再也回不来。回报曲线整个形变，策略开始原地抖动。

原因：奖励函数里距离单位用的米，目标物体离机械臂远时距离可能是 0.5 米，但末端位置和目标位置做了归一化之后，距离变成了 0.05 级别的小数。Critic 网络对奖励的变化很敏感，量纲突变直接破坏整个价值网络的训练。

解决：每次改完奖励函数，先在随机策略下跑 200 步，打印奖励分布的均值、方差和最大最小值，确认奖励值量级控制在正负 3 以内。如果超了，把奖励函数系数整体缩小到约 0.1 量级，再正式开训。

5.3 翻车记录三：训练和评估的随机种子不一致

现象：训练时回报正常，但每次评估时机械臂的表现看运气，有时成功率 80%，有时 5%，没有规律。看起来像策略本身不稳定。

原因：PyBullet 的随机种子没有设定，每次初始化机械臂和目标位置时用的随机数不同，评估时如果恰好抽到极端位置组合，策略就表现很差。这个不算算法 bug，但会让训练过程的对比失去意义。

解决：环境初始化时显式调用np.random.seed(seed)和p.setPhysicsEngineParameter里的确定模式。我在评估脚本里固定了三组种子，每组试 10 次，取成功率的平均值，再和训练时的表现做对比。种子的选择本身也需要试，有些种子会导致初始位形特别容易或特别难，多试几组取平均即可。

5.4 翻车记录四：位置控制模式下策略偷懒，原地微调混奖励

现象：策略学到了把机械臂停在距离目标很近但不接触的位置，之后所有动作都是小幅抖动，不再向前推进。奖励曲线停在某个平台振荡。

原因：奖励函数里“距离越近奖励越高”的设计，让策略发现了停留比移动更“划算”的规律。特别是距离已经缩到 0.05 米以内时，主奖励接近 0，稀疏附加奖励又没触发，策略只要保持微小抖动，每步的惩罚成本远小于移动带来的距离惩罚，所以它就稳定在那个区域不动了。

解决：把主奖励设计成阶梯式，比如距离每减小 2 厘米，奖励跳升 0.2，而不是每步都按距离微调。这样策略必须持续逼近目标才有奖励收益，停留在原地不会产生额外奖励。

5.5 翻车记录五：训练中途 GUI 窗口卡死，欺骗了所有人的眼睛

现象：开着 GUI 窗口训练，跑了十几万步后，窗口完全卡住不动，但终端里的训练日志还在刷。很多人以为是训练速度变慢，实际上是物理仿真和渲染线程出了问题。

原因：PyBullet 的 GUI 模式和训练主循环之间没有做线程隔离，窗口在长时间运行的仿真中累积渲染状态，导致事件循环阻塞。我遇到好几回，明明训练已经收敛，但因为窗口卡住，误以为环境崩溃，白白浪费了算力。

解决：把训练和可视化拆成两个进程，训练进程用p.connect(p.DIRECT)不渲染，另开一个进程异步读取训练中间保存的模型，单独渲染展示。如果只是想看最终效果，也可以在训练收敛后重新加载模型，用 GUI 模式跑一段固定场景评估。

6. 验证与进阶：把策略从仿真搬到真机前，先做这三件事

训练完成之后，策略文件拿到手只是一堆权重，离能落地还很远。我一般会按下面三个步骤验证，每做一步都能提前暴露一批问题。

第一步是重复性验证。让机械臂从同一初始位形出发，连续执行 100 次，记录成功次数和每次完成时间。这里要用到前面提过的固定种子机制。如果成功率波动超过 15%，说明策略对初始条件的敏感度过高，先回训练阶段做域随机化。第二步是域随机化。真机的关节摩擦、负载重量、控制延迟，和仿真参数总是有差异。在 PyBullet 里把每个关节的摩擦系数、目标物体的质量和摩擦系数都乘以随机的 0.9 到 1.1 系数，训练出来的策略在真机上迁移的成功率会高很多。第三步是做轨迹安全检查。把策略的每一步输出记录成文件，检查有没有关节角突变、末端速度过快的危险动作。这个检查不需要真机，直接在仿真里播放轨迹就能完成。

最后的进阶技巧，是把训练过程中的交互数据保存下来，存成 TFRecord 格式，后续用来做离线强化学习或行为克隆。数据字段包括状态、动作、奖励、下一状态、是否终止，每条数据对应一个强化学习步。不要只保存最终模型权重，中间过程的数据在很多情况下比权重更值钱。我自己的教训是：训练跑了两百万步，没存轨迹，后面想复现一个效果更好的分支时，只能全部重新跑。那次之后，我再也没嫌过存数据麻烦。

机械臂强化学习项目，耐心比技巧重要。每一步训练之前确认环境接口、奖励量级、随机种子，这些琐碎工作做好，策略收敛就是时间问题。希望这篇实战笔记能帮你少走几段弯路，愿你的机械臂第一次碰到目标物体时，不靠蛮力，靠策略。

（以上内容由我基于工程经验整理，PyBullet 和 PPO 的具体 API 版本以你安装时的官方文档为准。）

本文还有配套的精品资源，点击获取