机器人视觉枝干补全实验：点云分割、手眼标定与机械臂避障

1. 拆解“枝干补全”：被叶片吃掉的那半截树干

1.1 一个果园场景引出的真实痛点

机器人视觉里的“枝干补全”，说白了就是：相机拍到的枝条是断的，算法得把它接上。这事听起来不复杂，但只要你在果树、藤蔓、灌木这类场景里跑过一次真机，就知道它有多要命。树冠外层的叶片、果实、新梢把主干和内膛枝遮得严严实实，深度相机返回的点云在枝干位置动辄出现大块空洞，机械臂如果直接按“看得见的部分”去规划路径，伸进去大概率是撞枝、夹叶、甚至把整根结果枝掰断。

我最早接触这个方向，是在一个模拟的采摘作业项目里。规则很简单：识别成熟果实，规划一条不碰枝干的路，把果实取下来。识别果实那部分反而顺利，真正卡了三个月的是枝干。因为果实是“凸出来”的，遮挡少；枝干是“藏在里面”的，遮挡多。你看到的往往是一段枝的起点和一截枝的末端，中间被一串叶子隔开，点云上就是两个不相连的碎片。机器人视觉枝干补全实验，本质就是训练一套从这些碎片里把拓扑关系重新连起来的能力，并且给出一个足够可信的几何结果，让下游的规划器敢用。

这个实验适合谁？如果你是做农业机器人、林业巡检、修剪作业、藤蔓绑蔓这类方向的学生或工程师，只要你需要让机械臂在植物结构里穿行，这套流程都用得上。它不需要你有很深的深度学习背景，但要求你对点云、坐标系、标定误差有清醒认识。我见过太多人把精力全砸在分割网络调参上，最后发现真正导致抓取失败的，是手眼标定的两三厘米偏差，而不是网络少涨的那两个点 mIoU。

补全这个词容易被误解。它不是让算法“凭空想象”出一根枝干，而是在有限观测的基础上，用几何先验、生长规律、拓扑连续性做约束推理。补出来的结果必须带置信度，必须能说清楚“这一段是我看到的，那一段是我推出来的”。这个区分，是整个实验设计的底线。

1.2 实验的能力边界与验收标准

动手之前先把话说死：枝干补全不是万能的。它有三个硬边界，你在开题或者写实验报告的时候就应该写清楚，省得后期被问得哑口无言。

第一个边界是观测覆盖率。如果一根枝干的可见部分低于某个比例，补全结果基本等于瞎猜。经验值是可见表面占到整段枝干周向的 25% 以上、轴向连续段长度超过 3 倍直径时，补全才有意义。低于这个，算法输出的应该是“未知”，而不是硬给一条线。

第二个边界是枝干形态的规则性。木本植物的主干、主枝接近圆柱或微锥形，用圆柱拟合很稳；但细枝、新梢、卷须弯曲剧烈，曲率变化大，圆柱假设会失效，得换成样条或分段拟合。藤蔓类更麻烦，它可能贴着支架走，形态完全由支撑物决定，这时候补全逻辑要引入支架先验。

第三个边界是精度需求倒推的传感器配置。你的机械臂末端执行器如果是剪切式，刀口间隙可能只有几毫米，那补全的横向误差必须控制在 5 mm 以内，这对深度相机来说是极限；如果是夹爪式，容差大一些，1 cm 到 2 cm 也能接受。验收标准必须由执行端倒推，不能拍脑袋定。

我给这个实验定的验收表大概是这样：分割环节枝干类 IoU 不低于 0.6（真实场景，非受限棚内）；点云配准后多视角拼接的枝干重叠误差小于 8 mm；补全段的中轴线与人工标注真值的平均距离误差小于 15 mm；最关键的一条，机械臂按补全结果执行 50 次模拟作业，无碰撞率不低于 92%，误剪率低于 5%。这些数字不是标准答案，是给你一个可对标的锚点，具体项目按自己的执行器尺寸缩放。

2. 实验平台搭建与传感器配置

2.1 视觉传感器的选型逻辑

枝干补全对传感器的要求，跟常规的物体抓取完全不是一回事。常规抓取看的是物体正面，深度图有一片连续区域就够了；枝干是细长结构，直径可能只有一两厘米，在深度图上占的像素极少，稍微远一点就直接掉进噪声里。所以选型的第一原则不是“看得清”，而是“细结构在有效工作距离内还能被解析出足够像素”。

以常见的结构光或主动双目深度相机为例，它的深度分辨率随距离平方衰减，横向像素分辨率决定最小可分辨直径。假设相机水平视场角 87 度，分辨率 1280 像素，工作距离 0.6 m，那么单个像素在物方大约对应 0.6 × 2 × tan(43.5°) / 1280 ≈ 0.8 mm。一根直径 15 mm 的枝条，横向大约占 19 个像素，勉强够用。如果工作距离拉到 1.2 m，单像素对应 1.6 mm，枝条只占 9 个像素，边缘混叠加上深度噪声，点云上这根枝就变成一条毛茸茸的带子，拟合出来的直径误差能到 30% 以上。

结论很直接：枝干补全实验的工作距离要压在 0.5 m 到 0.9 m 之间，宁可让机械臂多走两步，也别指望远距离精细解析。如果必须远距离作业，那就得上长焦双目或者加装近距离补拍，用“远看全局、近看局部”的两级策略。我实测下来，单靠一台深度相机想覆盖 1.5 m 外的细枝，基本是自欺欺人。

安装位姿同样关键。相机光轴尽量与主枝走向成 30 度到 60 度夹角，避免正对着枝条“看一根线”。正对时，枝条在深度图上的深度梯度几乎为零，主动双目匹配会大面积失败，形成一条贯穿的空洞。斜着看，枝条两侧形成明显的深度不连续边缘，反而更容易分割。这个细节很多人在搭台子的时候不注意，等到点云一片稀烂才回头找原因。

另外，环境光干扰要提前评估。室外果园的正午直射光会让主动结构光彻底失效，红外图案被阳光淹没。实测下来，上午十点前、下午四点后，或者加装遮光罩，成功率会高出一大截。如果实验条件允许，优先选带全局快门和较强主动光源的型号，并且在采集时记录光照强度，后面排查问题时这是重要线索。

2.2 手眼标定：精度从哪来，误差怎么算

枝干补全做完，最终是要把坐标交给机械臂的。这一段链条上，手眼标定的误差会直接叠加到补全结果上，而且它是最容易被忽略的一环。我见过一个项目，算法侧把补全误差压到了 8 mm，结果机械臂实际执行时偏了 4 cm，查了两周才发现是标定板贴歪了。

眼在手上的配置（相机装在末端）标定相对简单，用棋盘格或者 ArUco 板，采集 15 到 20 组不同位姿，解 AX=XB。这里有个实操经验：位姿要“散”。很多人图省事，只让机械臂在一个平面内小范围移动，采集的位姿旋转分量变化很小，解出来的旋转矩阵条件数很差，平移误差会被放大。正确的做法是让末端在三个平移方向和三个旋转方向上都有明显变化，旋转角度至少覆盖 ±30 度，姿态数量不少于 12 组，最好 20 组。

标定精度怎么估？别只看重投影误差，那个数字往往好得离谱。实用的做法是做一次闭环验证：让机械臂末端带着一个尖状工具，去触碰标定板上已知的若干个角点，记录机械臂读数与视觉识别结果的偏差。实测中，一套做得比较好的系统，这个偏差的均方根在 3 mm 到 5 mm；超过 10 mm 就必须重做，否则后面所有补全精度的讨论都没有意义。

误差传播这里给个粗算，方便你判断瓶颈在哪。假设手眼标定平移误差 σ_t = 4 mm，深度相机在 0.7 m 处的深度噪声 σ_d ≈ 3 mm，分割边缘导致的横向误差 σ_l ≈ 5 mm。这三者近似独立，合成误差约为 √(16+9+25) ≈ 7.1 mm。如果执行端容差是 10 mm，只剩不到 3 mm 的余量给补全算法，压力很大。所以你要么把标定做到 2 mm 以内，要么把工作距离压近，要么换容差更大的执行器。这笔账必须在实验开始前算清楚，不然中途会陷入“算法怎么调都不够准”的死循环。

注意：标定完成后，相机、支架、末端执行器之间的任何机械改动都必须重新标定。哪怕只是拧紧了一颗螺丝导致相机角度变了 0.5 度，在 0.7 m 处就会带来 6 mm 的横向偏移。养成“动过就重标”的习惯，能省掉大量玄学排查。

3. 数据采集规范与枝干分割

3.1 采集现场的三条硬规矩

数据集的质量决定了这个实验的上限，而枝干数据的采集有几个反直觉的规矩，不遵守的话后面怎么调都难受。

第一条，同一目标必须多视角、绕行采集。单视角下枝干的可见面最多占一半，补全算法没有足够约束。绕着一个枝干节点走 3 到 5 个视角，每个视角间隔 40 度到 60 度，保证枝条的不同侧面都被覆盖到。采集时记录每个视角的位姿（可以用标定板或者机械臂末端位姿），后面配准要用。我建议至少采 4 个视角，少于这个数量，空洞补全的歧义会非常大。

第二条，标注要区分“可见枝干”和“被遮挡枝干”。这是枝干补全实验区别于普通分割任务的核心。你在标注的时候，对于被叶片挡住但根据上下文能判断存在的枝段，用不同颜色单独标出来，形成一份“补全真值”。这份真值不参与训练，只用于评价。没有这份东西，你根本没法量化补全准不准，只能靠肉眼看，那是自欺欺人。标注工具用 LabelMe、CVAT 都行，关键是把图层分开。

第三条，采集要覆盖“坏天气”。只在理想光照下采的数据，训出来的模型一到现场就崩。刻意采集一些逆光、强反光、枝叶密集交叉、细枝贴背景的困难样本，比例控制在总数据的 20% 左右。这些样本在训练时可以做难例挖掘，在评价时单独统计。

数据量方面，如果从零训分割模型，枝干类的像素样本至少要几千张图像级别，实际项目里我们通常采 3000 到 5000 张原始图，经过裁剪、翻转、亮度扰动扩增到两万级。如果只是做实验验证流程，用预训练模型微调，500 到 800 张精心标注的图也能跑出可用的结果。

3.2 分割模型与标注策略

分割这一环，现在可选的路线不少，但枝干分割有自己的特殊性：目标细长、正负样本极度不均衡、边界模糊。直接拿通用语义分割网络硬套，常见问题是细枝被整段漏掉，或者边缘糊成一片。

我的建议是主干用轻量级编码器加高分辨率解码器，比如以 MobileNet 或 EfficientNet 为骨干的 U-Net 变体，输入分辨率不要低于 512×512，条件允许就上 768。枝干在图中占的像素本来就少，下采样太狠直接丢失。损失函数用 Dice 加 Focal 的组合，Dice 负责拉回细结构的召回，Focal 压住背景像素的压倒性数量。实测中，纯交叉熵训出来的模型在细枝上的召回经常只有 0.3 左右，换成组合损失能提到 0.6 以上。

另一个思路是用通用的分割大模型做零样本初筛，再用人少量标注微调。这条路在实验阶段很省时间，尤其是你还没有标注数据的时候，可以先跑一遍看看效果，把明显错误的区域人工修一修，快速积累第一版训练集。但要注意，这类模型对“枝干”这个类别本身没有专门优化，输出往往偏粗，边界需要后处理细化。

后处理这一步值得单独说。网络输出的概率图直接二值化，细枝容易断。实用的做法是：先做一次小核的形态学闭运算把断点连上，再用骨架引导的区域生长，把概率值在 0.3 到 0.5 之间的“灰色地带”按连通性决定归属。这里的关键参数是闭运算核大小，跟图像分辨率和工作距离挂钩。以 0.7 m 工作距离、单像素 0.8 mm 计算，直径 15 mm 的枝在图上约 19 像素，闭运算核取 5 到 7 像素比较合适；核太大，相邻的两根枝会被粘成一根，那比断裂更麻烦。

分割结果出来之后，先别急着往点云走。花十分钟做一次可视化抽查，把原图、掩码、叠加图并排看。重点看三类错误：细枝末端是否被截断、交叉处是否粘连、背景中的枯枝是否被误检。这三类错误在后续点云处理阶段会被放大，越早修越好。

4. 点云预处理与骨架提取

4.1 从深度图到可用点云

分割掩码只是二维的，要拿到枝干的三维几何，得把掩码投影到深度图上生成点云。这一步的坑主要集中在深度值的有效性上。深度相机在物体边缘处会输出“飞点”，也就是深度值跳变的错误点，这些点在掩码边界上尤其密集，会在点云里形成一层毛刺，直接毁掉圆柱拟合。

处理流程我一般这么走：先按掩码提取深度，剔除深度值为 0 或超出量程的像素；然后用半径滤波去掉孤立点，半径取 3 倍平均点间距，邻域内点数少于 5 个的判为噪声；接着做一次统计滤波，剔除距离均值超过 2 倍标准差的点。这两步下来，毛刺能去掉八成以上。如果还有残留，针对边界做一次形态学腐蚀再提取，牺牲一点边缘点数换取干净度。

多视角配准是另一个重头戏。用机械臂位姿做粗配准，再用 ICP 精配准。粗配准的误差主要来自标定，通常能到 1 cm 量级，ICP 迭代 30 到 50 次能收敛到毫米级。这里有个实操要点：ICP 的对应点距离阈值不要设太小。枝干点云稀疏，阈值设成 2 mm 的话，很多真实对应点被排除，迭代会卡住甚至发散。经验值是初始阈值取平均点间距的 5 倍，逐轮衰减到 2 倍。配准完成后，用重叠区域的点间距离均值评估质量，超过 8 mm 就说明配准有问题，得回头查位姿记录。

坐标系统一这一步千万别偷懒。相机坐标系、机械臂基座坐标系、世界坐标系，三个系之间的变换要在代码里写死成配置项，并且每次实验打印出来核对。我遇到过最离谱的一次故障，是两组实验混用了不同的坐标变换文件，导致补全结果整体偏移了 12 cm，排查了整整两天。

4.2 骨架提取的两种路线与取舍

点云有了，下一步是提取枝干的中轴线，也就是骨架。骨架是补全的骨架（字面意思），后面所有的曲线外推都建立在它之上。

路线一，基于点云收缩的方法，比如拉普拉斯收缩。思路是把点云往内部收缩成一个细线，同时保持拓扑连通。优点是能处理分叉结构，一根主枝分出两根侧枝，它能自然地在分叉点形成 Y 形。缺点是对噪声敏感，点云有毛刺时收缩结果会出现小环或者扭曲，需要加正则项约束。参数上主要调收缩强度和邻域半径，邻域半径一般取枝干直径的 1.5 到 2 倍。

路线二，基于切片中心的方法。沿主方向把点云切成一系列薄片，每个薄片算质心，连起来就是骨架。这个方法简单粗暴但非常稳，适合主干明显的场景。切片的厚度和步长要跟点云密度匹配：步长太大，弯曲处会被拉直；步长太小，质心抖动严重。经验值是步长取 1 到 2 倍平均点间距，切片厚度取步长的 2 到 3 倍。对直径 15 mm 的枝，点间距约 3 mm，步长取 5 mm、厚度取 12 mm，效果比较均衡。

我的实际选择通常是混合的：先用切片法拿到主干骨架，稳定可靠；对分叉区域再跑一次收缩法补上拓扑。两部分结果用最近点对齐后拼接。这条路子代码量不大，用 Open3D 加 NumPy 基本能搞定，比纯手写一套收缩算法省事得多。

import open3d as o3d import numpy as np def slice_skeleton(pcd, axis, step=0.005, thickness=0.012): """沿指定主方向切片求质心，得到枝干骨架点""" pts = np.asarray(pcd.points) proj = pts @ axis lo, hi = proj.min(), proj.max() centers = [] t = lo + thickness / 2 while t < hi: mask = np.abs(proj - t) < thickness / 2 if mask.sum() >= 6: # 至少 6 个点才算有效切片 centers.append(pts[mask].mean(axis=0)) t += step return np.array(centers) def pca_axis(pcd, radius=0.01): """用局部 PCA 估主方向，作为切片方向初值""" pts = np.asarray(pcd.points) c = pts.mean(axis=0) cov = np.cov((pts - c).T) w, v = np.linalg.eigh(cov) return v[:, np.argmax(w)] / np.linalg.norm(v[:, np.argmax(w)])

这段代码里有个细节值得强调：mask.sum() >= 6这个门限不是随便设的。点数太少时，质心完全由噪声决定，会甩出一个离谱的骨架点。6 是经验下限，如果你的点云更稀疏，可以降到 4，但必须配合后续的平滑处理。另外 PCA 估主方向只适合直枝，弯枝要分段做，每段长度控制在 10 cm 以内。

5. 遮挡补全算法的实现路径

5.1 圆柱拟合：最快的几何先验

对木本植物的主干和主枝，圆柱是最好的先验。一根直径 20 mm 的枝干，在 20 cm 长度内，直径变化通常不超过 2 mm，用圆柱去拟合完全够用。RANSAC 是标准做法，但参数设置决定了成败。

距离阈值怎么定？它应该跟点云的径向噪声匹配。假设深度噪声 3 mm，配准误差 4 mm，合成径向不确定度约 5 mm，那么 RANSAC 的 inlier 阈值取 6 到 8 mm 比较合理。设成 3 mm 的话，inlier 太少，拟合不稳定；设成 15 mm，会把旁边的叶片点也算进来，轴向跑偏。

轴向范围也要约束。不约束的话，RANSAC 可能拟合出一个半径 3 mm、方向乱指的“伪圆柱”，因为总能在噪声里找到一小撮点满足条件。我一般加两条：半径范围 5 mm 到 50 mm，轴向与局部骨架方向的夹角小于 25 度。这两条约束一上，误拟合率能掉一个数量级。

import open3d as o3d import numpy as np def fit_cylinder_segment(pcd, axis_hint, r_min=0.005, r_max=0.05, dist_th=0.007, max_angle_deg=25, iters=500): """带轴向约束的圆柱 RANSAC，返回轴点、轴向、半径""" pts = np.asarray(pcd.points) best = None n = len(pts) cos_lim = np.cos(np.deg2rad(max_angle_deg)) rng = np.random.default_rng(42) for _ in range(iters): idx = rng.choice(n, 2, replace=False) p1, p2 = pts[idx] d = p2 - p1 norm = np.linalg.norm(d) if norm < 1e-6: continue d = d / norm if abs(d @ axis_hint) < cos_lim: # 轴向约束 continue # 两点不足以定圆柱，用局部点估半径 mid = (p1 + p2) / 2 local = pts[np.linalg.norm(pts - mid, axis=1) < norm / 2] if len(local) < 10: continue r = np.median(np.linalg.norm((local - mid) - np.outer((local - mid) @ d, d), axis=1)) if not (r_min <= r <= r_max): continue dist = np.linalg.norm((pts - mid) - np.outer((pts - mid) @ d, d), axis=1) inliers = np.abs(dist - r) < dist_th score = inliers.sum() if best is None or score > best[0]: best = (score, mid, d, r, inliers) if best is None: return None return {"center": best[1], "axis": best[2], "radius": best[3], "inliers": best[4]}

拟合出来的圆柱，沿轴向延长就是补全段。延长多少要有节制，一般不超过可见段长度的 1.5 倍，超过这个范围，弯曲和分叉的概率大增，圆柱假设就不可信了。延长段的端点要打上“推断”标记，下游规划器据此决定要不要二次观察。

5.2 生长趋势约束下的曲线补全

细枝、新梢不满足圆柱假设，得换曲线。常见的思路是把骨架点序列拟合成空间曲线，然后在断点处外推。直接多项式外推非常危险，因为它不受任何约束，端点稍微抖一下，外推出去能飞十几厘米。

我更推荐带生长方向约束的三次样条。具体做法是：取断点前一段骨架点（长度约 3 到 5 倍直径），计算末端切线方向，把这个方向作为样条在断点处的导数约束，再用最小曲率变化作为外推目标，求解剩余控制点。这样外推出来的曲线方向跟真实生长趋势一致，不会甩飞。

另一个有效的手段是引入重力与向光性的先验。植物枝条的生长方向大致受这两个因素调制，新梢多向上，挂果枝多下垂。你可以在外推目标函数里加一项软约束：让外推方向与“向上”或者“下垂”方向保持一个合理的夹角范围。这一项权重不能大，0.1 到 0.3 就够，它的作用是排除掉明显反物理的解，而不是主导结果。我实测过，加上这个软约束后，外推方向错误率从 18% 降到 7% 左右。

藤蔓类要单独处理。藤蔓往往缠绕在支架上，形态由支架决定。这种情况下，补全的约束应该来自支架的几何模型，而不是藤蔓本身的生长趋势。实验里如果涉及藤蔓，建议先做支架检测，把支架的圆柱或者平面提取出来，然后让藤蔓补全沿着支架表面走。这个思路在实践中比纯数据驱动靠谱得多。

5.3 置信度评估与“不敢下手”的判定

补全算法必须输出置信度，而且这个置信度要能被下游直接使用。我一般把它拆成三个分量：观测支持度、几何一致度、外推长度惩罚。

观测支持度看的是断点附近有多少有效点云。点数越多、分布越均匀，支持度越高。几何一致度看的是拟合残差，残差小说明观测跟模型吻合。外推长度惩罚是单调递减的，补得越远越不可信。

三个分量加权合成一个 0 到 1 的分数。分数低于 0.5 的补全段，直接标记为“不可用”，让机械臂绕行或者触发补拍；0.5 到 0.75 之间标记为“谨慎使用”，规划时把安全距离放大一倍；0.75 以上才允许正常执行。这套分级机制看起来保守，但它把“算法不知道”这件事显式表达出来了，比硬给一个结果安全得多。

注意：置信度阈值不要在实验初期就定死。先用一批数据统计分数分布，画出直方图，看看可用段和不可用段的分界在哪，再定阈值。我见过直接把 0.6 当阈值的，结果因为分数整体偏低，导致 70% 的枝干都被判为不可用，系统直接瘫痪。

6. 补全结果怎么交给机械臂

6.1 剪切点与抓取点生成

补全出来的中轴线和半径，要转成执行端能用的目标点。这一步的核心诉求是：目标点必须落在枝干内部，且执行器姿态要跟枝干走向匹配。

以剪切为例，剪切点一般选在距分叉点 20 mm 到 40 mm 的位置，太靠近分叉，刀口容易伤到主枝；太远，剪口位置不理想。剪切点在轴线上的投影位置确定后，沿轴向取一个位置，再沿垂直于轴向的方向偏移，让刀口跨过枝条。偏移量等于半径加 2 mm 余量。姿态上，刀口平面法向应该与枝干轴向垂直，误差控制在 10 度以内，否则剪切时会打滑。

这里有个容易忽略的细节：补全段的半径是拟合值，不是实测值。对推断段，半径的不确定度可能达到 30%。执行器如果对半径敏感（比如环抱式夹爪），必须按半径的上界去规划开口，按半径的下界去判断是否夹得住。这个上下界的处理，比用一个中心值靠谱得多。

抓取点的生成逻辑类似，但要额外考虑重心。枝条上挂着果实时，质心偏向果实一侧，抓取点应选在质心与枝干轴线的交点附近，避免夹起来之后整枝翻转。这个偏移量在实验里可以先按经验取，后期用动力学仿真校正。

6.2 碰撞距离场与轨迹兜底

补全结果进入规划器后，第一件事是构建碰撞距离场。枝干用胶囊体近似，每段胶囊由轴线两端点和半径定义。场景里的其他障碍（支架、铁丝、其他枝干）也统一成胶囊或包围盒。距离场的作用是给规划器提供梯度，让轨迹自动远离枝干。

胶囊半径怎么取？不要直接用拟合半径，要加安全裕度。安全裕度由三部分组成：补全不确定度、标定误差、控制误差。前面算过，补全不确定度约 8 mm，标定误差 4 mm，控制误差按机械臂重复定位精度 2 mm 算，合成约 9 mm。所以胶囊半径应该取拟合半径加 10 mm 左右。这个裕度会让可行空间变窄，尤其是密集枝干区域，但总比撞上去强。

兜底机制必须做。规划器给出的轨迹，在执行前要做一次离散化的碰撞检测，采样步长取 5 mm，逐点检查与所有胶囊的距离。一旦发现某段轨迹的最小距离低于阈值，立即回退并触发重规划，重规划时把该区域的安全裕度再放大 50%。如果连续三次重规划都失败，就放弃该目标，记录日志，换下一个。这个逻辑写起来不复杂，但能在实验现场救你无数次。

7. 实验中的坑与排查记录

7.1 点云空洞、噪声与配准漂移

症状：补全出来的枝干位置整体偏移，多视角拼出来的枝干有重影。

排查顺序按这个走：先看单视角点云是否干净，把每个视角单独可视化，如果单视角就有大面积飞点，问题在深度采集，检查光照、反光、相机曝光参数。再看配准后的重叠区误差，用 Open3D 的evaluate_registration算 fitness 和 inlier RMSE，RMSE 超过 10 mm 就是配准出了问题。最后检查位姿记录文件，确认每个视角对应的变换矩阵没有错位或者单位错误。我遇到过最隐蔽的一次，是位姿记录里有一组用了毫米单位，其他用米，配准结果整体缩放了 1000 倍，肉眼看点云还挺像，一拟合全乱套。

症状：点云上枝干是一段一段的碎片，中间断得很干净。

这种“干净断裂”通常是分割掩码断裂导致的，不是深度问题。把掩码和原图叠一起看，断点位置是不是正好有叶片或者高光。解决办法一是优化分割后处理的连通性，二是采集时多绕几个角度，让断裂位置在不同视角下错开，配准后自然补上。

7.2 补全方向反了的三种原因

补全方向错误是最常见的失败模式，表现为补出来的枝干往天上飞或者扎进地里。原因我归纳了三类。

第一类，骨架末端切线估计错误。断点附近点数太少，PCA 主方向被噪声带偏。对策是扩大切线估计的邻域，用 3 倍直径范围内的点做加权 PCA，离断点越近权重越高。

第二类，分叉点被误判为断点。一根枝在分叉处点云也有空洞，算法以为是断了，就沿着一个分叉方向外推，实际上应该分成两支。对策是在补全前做一次拓扑分析，检查断点邻域是否存在多个方向的点云簇，如果有，走分叉处理逻辑而不是简单外推。

第三类，坐标轴符号搞反。这个听起来很低级，但真的高发，尤其是在不同库之间转换的时候。表现是补全方向恰好与真实方向相反 180 度。对策是把关键中间量（轴向、切线、外推方向）全部打印出来，跟点云一起可视化，肉眼确认方向对不对。花两分钟看一眼，胜过调两天参数。

7.3 标定没问题但抓不准

这种故障最折磨人，因为所有单项指标都正常，就是执行偏。我的排查清单是这样的：

我印象最深的一次，是机械臂动作时相机支架有微小形变，静止标定时精度很好，一动起来就偏 2 cm。后来换成刚性更好的支架，问题消失。这类机械性误差在静态验证里完全看不出来，必须做动态验证：让机械臂按规划轨迹走一遍空载，末端装个标记球，用外部相机测实际位置与期望位置的偏差。这一步加上去，能提前暴露很多隐藏问题。

8. 实验评价指标与复现清单

评价不能只看分割 IoU，那只是入口。枝干补全的价值最终体现在执行端，所以指标体系要分三层。

第一层，感知层。枝干分割的 IoU、召回率，重点看细枝召回。点云配准的重叠误差。这两个指标反映“看得见的部分处理得对不对”。

第二层，补全层。补全段中轴线与人工标注真值的平均距离误差、最大距离误差，以及补全段的直径误差。还有一个很实用但少有人用的指标：方向误差角，即补全段主轴与真值主轴的夹角。位置误差小但方向错了，执行时照样出事。我建议方向误差控制在 15 度以内。

第三层，执行层。模拟或真实作业的成功率、碰撞率、误剪率。这一层最能说明问题，也最适合写进实验报告的核心结论。建议每组参数跑 30 次以上，记录每次的失败原因分类，别只记一个总数。

复现清单我整理成下面这样，照着走能少踩不少坑：

• 标定板平整度检查，用直尺贴边看有没有翘曲，翘曲超过 0.5 mm 换板
• 采集前预热相机 10 分钟，等深度输出稳定
• 每个目标至少 4 个视角，记录位姿，重叠区不少于 30%
• 标注时可见枝干与被遮挡枝干分图层，被遮挡部分单独存真值
• 分割后处理参数随工作距离调整，不要一套参数跑所有距离
• 圆柱拟合加轴向约束和半径范围约束，两个都要
• 补全长度限制在可见段的 1.5 倍以内
• 置信度分级，低于阈值的不交给执行端
• 轨迹执行前做离散碰撞检测，步长 5 mm
• 每次机械改动后重新标定，并做一次闭环验证

最后再分享一个我个人体会最深的小技巧。枝干补全这个活，算法固然重要，但真正决定项目能不能落地的，往往是你有没有一套快速定位问题环节的手段。我现在习惯每处理一个目标，就把原图、掩码、单视角点云、配准点云、骨架、拟合圆柱、补全段这七样东西存成一个可视化快照，按目标编号归档。出问题时翻快照，一眼就能看出是哪一环断的，比从头复现快得多。这套东西写起来不到一百行代码，但省下来的时间是以天计的。

另外，如果后续想继续扩展这个实验，有两个方向值得试。一是把补全从几何层往语义层推，比如让算法判断“这根枝能不能剪”，引入枝条年龄、粗度、着生位置的分类；二是做主动感知，让机械臂根据当前补全的置信度，自主决定往哪个方向再挪一点、再看一眼。后者的工程价值更大，因为它把“补全”从一个被动算法变成了一个闭环感知策略，更接近真实作业的样子。