Kalibr多板同框内参标定崩溃？原图复制与遮挡方案详解-开发者社区

先交代一个前提：我这里说的“一张图里有9块标定板”，不是那种故意摆拍的艺术图，而是多相机系统标定现场的真实数据。比如你在地上贴了一整排Aprilgrid，或者在车间里布了一圈标定图案，某个相机的原始图像里同时出现了好几块完整的板子。这种数据直接丢给Kalibr跑内参标定，十有八九会出妖——检测线程会把所有板子的角点全部提取出来，当作同一块板处理，最后优化出来的焦距和畸变系数完全是错的。

我经历过不止一次这种坑。最开始的第一反应是去改Kalibr源码，让它支持多板检测。研究了两天发现，改源码牵扯到Kalibr自带的角点聚类逻辑、ID编码识别机制、以及后续优化前的数据筛选，工作量不小，而且每次换了标定现场，板子的布局一变，改过的代码又得跟着调。更麻烦的是，Kalibr是rosbuild和catkin混着的老工程，改完重新编译，依赖环境稍有变动就各种报错。后来我索性换了个思路：不改Kalibr，而是把图像数据在喂进去之前就处理成Kalibr期望的样子。这就是这篇文章要讲的原图复制方案和遮挡方案。

这套处理方法，适合所有用Kalibr做单目或双目内参标定、且现场无法避免多板同框的工程师。下面我把思路、代码、坑位一次讲清楚。

1. 为什么多块板子会让Kalibr直接“崩溃”

要理解后面的处理方案，先得搞清楚Kalibr在多板场景下到底哪里翻车。这不是Kalibr本身质量不行，而是它的设计前提就是“单帧图像中只有一块完整的标定板”。

1.1 Kalibr检测机制的内建限制

Kalibr的标定板检测，核心依赖两个东西：角点聚类和Tag ID编码。Aprilgrid每一行每一列的角点都不是孤立的，它们通过黑色方块的边沿关系构成一个网格结构。Kalibr在检测时会先提取图像中所有的四边形候选区域，然后通过Tag ID来判断每个四边形在板子上的具体坐标。

这个机制在单板场景下非常稳健：图像中只有一个四边形簇，所有角点天然属于同一个网格，Tag ID连续且唯一。但一旦画面中出现多块板子，问题就来了——不同板子上的角点会被聚类到同一个候选集合里，Kalibr根本不知道怎么把这些角点拆成多个独立的网格。更棘手的是，如果地面上的多块板子是直接用同一个Aprilgrid.pdf打印出来的，它们的Tag ID编码是重复的，Kalibr会分不清检测到的某个ID到底是属于哪块板。

结果就是两种典型失败模式：检测报错，提示找不到完整板子；或者检测“成功”了，但那是因为Kalibr把多块板的角点硬拼成了一个畸形的网格，后续优化时重投影误差大得离谱，内参输出完全不可用。

1.2 内参优化对“单一刚体”的依赖

这里多说一句原理层面的东西。Kalibr的相机内参标定，本质上是求解一个重投影误差最小化问题：把标定板上每个特征点的三维坐标，通过相机外参投影到图像平面，然后和检测到的像素坐标做差。整个优化过程依赖一个关键假设——所有特征点在同一个刚体坐标系下。

单板场景下这个假设自然成立。但多块板子同时出现，每块板都有自己的局部坐标系，如果Kalibr错误地将不同板子的角点当作同一个刚体上的点，优化器就会试图用一个外参去解释多个不同的坐标系变换。这种情况下，内参估计必然被拉偏。焦距可能偏大或偏小，畸变系数会出现不合理的“鱼眼”形状，甚至优化过程直接不收敛。

明白了这个原理，后面的处理思路就清晰了：不管用什么方法，核心目标只有一个——让Kalibr在一帧图像里只看到一块完整的板子。

2. 原图复制方案详解：让多余板子“消失”在画面里

所谓“原图复制”，不是简单地把图片裁剪成只剩一块板，而是基于原始图像，把非目标板区域处理成不干扰Kalibr检测的背景。核心思路是：保留目标板的原始纹理和光照信息，其余区域用图像填充技术“涂掉”。

2.1 为什么不用纯裁剪

很多人第一反应是：直接用OpenCV把目标板区域裁出来，然后单独用这个小图去标定不就行了？这个思路方向对，但有个坑——裁剪会导致图像分辨率降低，而Kalibr的内参标定对图像分辨率是很敏感的。你把一张1920x1080的图裁成600x600，标定出来的焦距参数物理含义就变了，除非你后续做严格的缩放换算，否则很容易出错。

另一个问题是，裁剪后的图像中，目标板如果占据了太大的画幅，Kalibr检测角点时可能会丢失板子边缘的角点。Aprilgrid的检测要求整块板完整出现在画面里，边缘角点一旦出了图像边界，Tag ID连续性就断了，检测同样会失败。

2.2 图像填充的技术选型与实现路径

既然不能裁剪，那就只能在原图尺寸下做填充。所谓的“原图复制”，其实包含两个层次的操作：复制目标板区域的图像纹理，以及用复制的纹理去覆盖非目标板区域。听起来像文字游戏，但实际做起来是有讲究的。

我推荐的做法分三步：

第一步，先用Kalibr自带的检测工具或者OpenCV手动框选，确定要保留的目标板位置。如果图像里有多块板，建议通过角点ID来选定一块最完整、最清晰的板子作为目标。第二步，生成一张掩膜图，目标板区域设为白色，其余区域设为黑色。第三步，用图像修补算法将非目标板区域填充成与周围环境兼容的纹理。

填充这一步有很多种实现方式。最简单的可以用OpenCV的cv2.inpaint函数做修复，也可以手动从目标板周围取一块干净的背景区域，复制平铺到其他板子所在的位置。我实测下来，cv2.inpaint在均匀背景下效果很好，但如果现场光照不均匀、地面纹理复杂，修复出来的区域有时会有轻微的人工痕迹。这时候我会退一步，用复制平铺+高斯模糊过度的方式，让填充区域和原始背景更好地融合。

实操中，生成掩膜这步是最容易出错的。建议先用Kalibr的kalibr_camera_find工具跑一遍原始图，拿到目标板角点的像素坐标，然后往外扩一定边距，生成一个矩形掩膜区域。注意保留目标板四周的白色留边，这个留边对于Aprilgrid的检测非常重要，后面我会详细讲。

2.3 一个可以直接用的Python处理脚本示例

下面这个脚本，就是我在实际项目中用过的版本，做了简化。它读入一张多板图，通过手动点击目标板的四个角点，生成掩膜，然后用cv2.inpaint把其他板子区域填充掉。

import cv2 import numpy as np def select_target_board_points(image): # 手动点击目标板的四个角点（左上、右上、右下、左下） points = [] def on_mouse(event, x, y, flags, param): if event == cv2.EVENT_LBUTTONDOWN: points.append((x, y)) cv2.circle(image_display, (x, y), 5, (0, 0, 255), -1) cv2.imshow("select board corners", image_display) image_display = image.copy() cv2.imshow("select board corners", image_display) cv2.setMouseCallback("select board corners", on_mouse) cv2.waitKey(0) cv2.destroyAllWindows() return np.array(points, dtype=np.float32) def generate_mask(image, corners, margin=20): mask = np.zeros(image.shape[:2], dtype=np.uint8) # 将四个角点往外扩 margin 像素，保留白色留边 x_min = max(0, int(corners[:, 0].min()) - margin) x_max = min(image.shape[1], int(corners[:, 0].max()) + margin) y_min = max(0, int(corners[:, 1].min()) - margin) y_max = min(image.shape[0], int(corners[:, 1].max()) + margin) mask[y_min:y_max, x_min:x_max] = 255 return mask def remove_other_boards(image): corners = select_target_board_points(image) mask = generate_mask(image, corners) # 用 TELEA 算法修补非目标板区域 result = cv2.inpaint(image, cv2.bitwise_not(mask), inpaintRadius=3, flags=cv2.INPAINT_TELEA) return result if __name__ == "__main__": img = cv2.imread("multi_board.png") cleaned = remove_other_boards(img) cv2.imwrite("single_board_cleaned.png", cleaned)

这个脚本的适用前提是：图像中有一块板子完整且清晰。如果目标板本身拍摄角度太斜，或者有反光，建议先换一块板子再处理。

2.4 为什么保留“白色留边”是关键细节

Kalibr检测Aprilgrid时，不是只检测黑色方块，它还需要确认板子的整体边界。Aprilgrid最外圈的黑色方块与白色留边之间有一个明确的梯度变化，这个梯度帮助检测算法确定板的实际范围。如果处理时把白色留边也一起填充掉了，Kalibr很可能把板子识别成一个较大的黑白混合区域，检测精度会下降。

经验值是：留边宽度至少保持1.5倍的tagSize。比如标定板参数中tagSize是0.025m，那么留边最好不要少于0.0375m对应的图像像素宽度。如果空间紧张，也要尽量保证板子外边框和画面中其他内容之间没有大面积同色干扰。

3. 遮挡方案详解：比图像处理更省心的替代路径

原图复制方案解决的是“数据已经采集完，只能后期补救”的情况。如果你还在采集阶段，或者有条件重新采集一批数据，那遮挡方案会是更省心的选择。

3.1 物理遮挡与数字遮挡的使用场景

物理遮挡很好理解：采数据的时候，用不透光的板子把非目标板盖住，或者把多余的板子撤走。这个方法最粗暴，也最有效，但存在几个现实问题。第一，标定现场如果是在产线或者车间，环境不是你完全说了算，多余的板子可能贴在地上无法撕掉。第二，对于多相机系统，几台相机从不同角度拍摄同一个标定区域时，一块遮挡板可能挡住了A相机视角下的多余板，却正好挡住了B相机视角下的目标板。

数字遮挡则是用软件手段实现的思路：在处理图像序列时，对图像中非目标板的区域进行掩膜处理。这与原图复制方案的主要区别在于，它不追求填充后的图像看起来多自然，而是用显式的方式告诉检测算法“这里不用看”。实践中最常用的是把非目标板区域涂成统一的灰度值。比如填成纯白色（像素值255）或纯黑色（像素值0）。

3.2 掩膜填白还是填黑：一个值得纠结的问题

多数人直觉会选择填黑，因为黑色在视觉上更像“背景遮挡物”。但Kalibr的检测线程对黑白区域的响应方式不一样。Aprilgrid本身就是一个白底黑格的图案，如果非目标板区域被填成黑色，检测线程有可能会把黑色遮罩区域误判为一个巨大的黑色方块，从而干扰四边形检测。

我实测下来，填白比填黑更稳妥。理由很简单：Aprilgrid的黑色方块是分散的小尺寸四边形，白色背景均匀连续，检测算法不会把一个完整的大白色区域识别成候选四边形。如果你把多余板子区域填成纯黑，反而等于在图像里放了一个巨大的“黑色四边形”，有些版本的Kalibr会把这个黑色区域纳入候选，导致聚类结果异常。

当然，如果图像中目标板周围本身有墙面阴影或不均匀光照，填白后目标板边缘会出现明显的灰度断层，也会影响角点检测。这种情况下建议填成与目标板周围背景亮度接近的中性灰，比如像素值128。要判断填什么，最直接的方法是看目标板本身的亮度分布，取板子周边背景的平均亮度作为填充值。

3.3 数字遮挡的脚本实现细节

数字遮挡的脚本比原图复制简单得多，本质上就是生成掩膜+赋值像素。

import cv2 import numpy as np def digital_occlusion(image, board_corners, fill_value=255, margin=30): mask = np.zeros(image.shape[:2], dtype=np.uint8) x_min = max(0, int(board_corners[:, 0].min()) - margin) x_max = min(image.shape[1], int(board_corners[:, 0].max()) + margin) y_min = max(0, int(board_corners[:, 1].min()) - margin) y_max = min(image.shape[0], int(board_corners[:, 1].max()) + margin) mask[y_min:y_max, x_min:x_max] = 255 result = image.copy() # 非目标板区域填成指定灰度值 result[mask == 0] = fill_value return result

这里有个注意事项：脚本处理的是图像序列，不是单张图。如果整个序列中相机在移动，目标板在不同帧中的位置会变，那么每一帧都需要重新检测目标板坐标并更新掩膜。简单场景（相机不动、只有板子被移动）下，可以只对第一帧生成掩膜，后面帧沿用同一掩膜；但相机一旦运动，就必须逐帧更新。逐帧更新时，手动点击四个角点的工作量会很大，我一般先用kalibr_camera_find自动检测，输出角点坐标，再脚本批量处理。

4. 两种方案怎么选：对比与完整实操流程

两种方案各有对应的使用场景。先给个对比表格，后面再讲完整流程。

对比维度	原图复制方案	遮挡方案
适用阶段	数据已采集完成，只能后期处理	数据采集阶段，或允许重新采集
操作成本	需要逐帧生成掩膜并做图像修复	掩膜生成更简单，填充逻辑更直接
处理效果	图像自然度高，Kalibr检测稳定	图像可能有人工痕迹，但检测也不差
适用相机	单目、双目均可	单目、双目均可
主要风险	inpaint可能引入人工纹理干扰检测	填充颜色选择不当会干扰四边形检测
实施难度	中等	较低

从我的实践来看，如果是已经拿到手的bag数据，我优先选原图复制方案；如果是现场还能重新采一波数据，我会直接选遮挡方案，把多余的板子物理遮盖掉，省得后期折腾。

4.1 数据准备与标定板参数检查

不管哪种方案，数据准备阶段的检查都很重要。Kalibr标定前需要准备一个yaml文件，描述标定板的物理参数。最常见的Aprilgrid配置如下：

target_type: 'aprilgrid' tagCols: 6 tagRows: 6 tagSize: 0.025 tagSpacing: 0.3

这里tagCols和tagRows代表每个Aprilgrid的标签行列数，tagSize是单个标签的边长（单位米），tagSpacing是标签间距相对于标签边长的比例。如果一张图里有9块板子，这些板子的物理参数必须完全一致，混用不同尺寸的板子会导致Kalibr在检测时出现ID冲突。

改完图像数据后，重新生成bag时，图像的topic名要和yaml中一致，时间戳要保持原始采集顺序。Kalibr对图像时间戳的连续性要求很高，处理脚本如果改变了图像的读取顺序，标定结果就废了。

4.2 完整流程：从多板原图到内参出炉

我将整个流程拆成下面几步，照着走基本不会出错。

第一步，配置Kalibr环境。我用的环境是Ubuntu 18.04 + ROS Melodic + Kalibr源码编译。如果只是做图像预处理，不涉及Kalibr本身的编译，环境要求可以松一些；但最终跑标定命令，还是建议用官方推荐的ROS版本环境。

第二步，从bag中抽取图像序列。用rosbag play配合订阅topic抽取关键帧，或者直接用以下命令：

rosrun image_transport republish compressed in:=/cam0/image_raw raw out:=/cam0/image_raw_clean

第三步，对所有抽出来的图像帧做原图复制处理或遮挡处理。这一步是整个方案的核心，建议先随机抽5帧，手动处理并跑通Kalibr检测，确认检测结果稳定了再批量跑全序列。

第四步，将处理后的图像重新打包成bag：

rosbag record -O cleaned.bag /cam0/image_raw_clean

第五步，运行Kalibr标定命令：

kalibr_calibrate_cameras --target aprilgrid_6x6.yaml --models pinhole-radtan --topics /cam0/image_raw_clean --bagfile cleaned.bag --show-extraction --plot

如果命令行加了--show-extraction，会弹出每帧图像的角点检测结果，方便你确认处理后的图像序列中每帧都只检测到目标板。

第六步，查看标定结果。输出文件中会包含相机内参矩阵和畸变系数。重点检查重投影误差是否在0.1像素量级，如果误差明显大于这个值，说明某些帧的角点检测还是有干扰，需要回看检测结果图，找到问题帧重新处理。

4.3 多相机场景的额外注意事项

如果是双目相机或多目相机系统，还需要考虑不同相机之间的协同。举个例子，你有左目和右目两个相机，图像中的9块板子在两台相机中的位置不同。处理时不能只对左目图像做掩膜，右目图像不做。更严谨的做法是：对每台相机的图像序列分别做同样的预处理，并保证左右目图像中保留的目标板是物理空间中的同一块板。

如何保证左右目看到同一块板？建议在处理之前，对左右目图像做一次双目匹配，找到同时在两幅图像中都完整出现、且没有大角度遮挡的那块板，然后以它为各自的目标板。否则左目标定保留了A板，右目保留了B板，双目外参标定结果也会出错。

5. 实操中常见的坑与排查方法

这部分内容，都是我自己在踩过坑之后总结出来的，应该能帮你省下不少时间。

5.1 标定结果发散或重投影误差偏大

处理完图像，跑完Kalibr后，如果发现内参结果明显不合理，比如焦距值比标称值差了一倍，或者重投影误差超过0.5像素，首先要怀疑的还是图像序列中没有被彻底清理掉的板子。我排查过一个案例：当时地面有两块板子离得很近，我处理时只掩膜了较大的一块，较小的那块在画面边缘露出了一小块，Kalibr把这个残缺的角点簇也纳入检测了，结果整个内参优化直接发散。

排查方法很简单：跑标定命令时加上--show-extraction，逐帧查看提取的角点图。如果发现某帧图像在目标板之外还有其他角点被提取出来，就说明清理不彻底，需要回头重新处理这一帧。

5.2 掩膜区域边缘检测异常

有时掩膜处理后的图像，板子本身没问题，但掩膜边缘会出现很多杂散角点。这通常是因为掩膜的边缘太“硬”，在图像中形成了明显的灰度跳变，被Kalibr误认为四边形的边。

对策有两个：要么用OpenCV的cv2.GaussianBlur对掩膜边缘做平滑过渡，让灰度变化不那么剧烈；要么把填充值设成和目标板周围背景更接近的值，从源头上减少边缘跳变。

# 对掩膜做高斯模糊，让边缘更柔和 mask = cv2.GaussianBlur(mask, (0, 0), sigmaX=10)

模糊之后，填充区域与原始图像的接缝会变得比较自然，Kalibr误检的概率会明显下降。

5.3 处理后的图像能检测到板子，但优化后内参精度仍不理想

这种情况最让人头疼，因为所有错误提示都没有，内参看起来也差不多，但精度就是上不去。我遇到过一次，最后发现问题是出在图像压缩上。当时为了省存储空间，采集时用了压缩图像topic，解压后直接做处理，处理完又用有损编码重新压缩生成bag。来回两次压缩，导致图像中Aprilgrid的黑色方块边缘出现了明显的压缩伪影，Kalibr提取角点时的亚像素精度大幅下降。

建议整个处理链路中全程使用无损格式。如果原始bag里是压缩图像，先用image_transport解压成raw格式，处理完再存成raw格式的bag，不要用jpeg或png的二次压缩。

5.4 九点标定与Kalibr内参标定不要混淆

写到最后，提一个关联热词里经常被问到的点。很多人搜索“标定板标定和九点标定的区别”，这里顺带说清楚：九点标定通常是指相机与机械臂之间的手眼标定，通过移动机械臂末端到九个已知点，求解相机坐标系和机械臂坐标系的变换关系。它不涉及相机内参（焦距和畸变）的计算。而Kalibr做的是相机内参标定和相机-IMU外参标定。两者虽然都涉及标定板，但解决的问题完全不一样。如果现场有人把两者混为一谈，多板图像处理时也可能用错流程，值得留意。