任意配对训练：打破严格配对限制的高性能图像融合新范式

做图像融合这一行的，大概都被同一个问题卡过喉咙：训练数据必须严格配对。红外图和可见光图得是同一时刻、同一机位、同一个静态场景，多曝光得固定相机连拍，多聚焦得同一物体不同景深逐张采集，最后还得逐像素对齐。采集难也就算了，配准更是噩梦——场景里有人动了一下，或者树被风吹了一下，一整对图就废了。

这篇题为《Beyond Strict Pairing: Arbitrarily Paired Training for High-Performance Image Fusion》的工作，光看标题就是冲这个痛点去的。它挑战的是图像融合训练里最贵、最脆弱的一环：Arbitrarily Paired Training，大白话就是训练时随便抓两张图，不要求同一个场景，不要求像素级对齐，照样能训出一个高性能的融合模型。从CVPR 2026这个时间节点来看，这算是研究社区从"怎么把配对数据用到极致"转向"怎么彻底摆脱配对依赖"的一个明确信号。

这篇文章我会按五块聊：严格配对为什么长期卡住融合训练的脖子、任意配对能work的底层逻辑、按标题和行业常识推测的技术路线、没有配对真值时怎么验收融合效果，以及打算在自己项目里复现这套思路应该怎么做。最后会分享几个实际踩过的坑，这些经验通常不会出现在论文正文里。

1. 为什么"严格配对"是图像融合训练的第一瓶颈

1.1 配对到底在配什么

先梳理基础概念。图像融合指的是把两张或以上来自不同传感器、不同成像方式、不同相机设置的图像，合成一张信息更全、质量更高的图像。常见场景包括红外与可见光融合、多曝光融合、多聚焦融合，医疗影像里还有CT与MRI、MRI与PET的融合。

传统监督训练要求样本是"严格配对"的，这个概念其实包含三层意思：

• 同一场景：两张图的拍摄对象必须完全相同，画面内容一致；
• 同时刻、同视角：时间上要接近、视角上要一致，避免运动目标和视差造成内容错位；
• 像素级对齐：输入网络之前需要经过配准，让两幅图的同名点落在完全相同的像素坐标上。

任何一层不满足，标准的像素级损失就会出现矛盾梯度——模型不知道该向哪张图的哪个内容去靠，训练直接崩掉。这也是为什么所有公开的融合训练集都那么小，因为能同时满足这三条的样本，采集成本极高。

1.2 严格配对的数据到底有多贵

这个问题在红外-可见光融合上体会最深。红外相机和可见光相机即使装在同一云台上，也存在物理视差和响应延迟，稍微有个运动目标，两帧内容就对不上。动态场景里想采集一对严格配对的红外-可见光图，基本上看运气。

多曝光融合看起来简单一点，但长时间曝光需要绝对静止的相机和场景，户外几乎没法用。多聚焦融合更折腾，要么用专门的微距滑块逐张移动拍摄，要么用光场相机再拆解，采集效率低得让人绝望。医疗多模态融合最痛苦，CT和MRI本身就是两次独立扫描，身体姿态、呼吸相位、组织变形全都不一样，后续全靠配准算法硬拉。

即便用GAN模拟配对数据，也绕不开另一个问题：合成数据的分布和真实传感器数据总有偏差，模型在模拟数据上学到的融合规则，迁移到真机上经常打折扣。

1.3 数据量上不去带来的连锁反应

严格配对导致的直接后果，就是数据集规模停留在几百对到几千对的量级。这个体量训出来的模型，问题非常典型：

• 过拟合传感器特性。模型会把某个相机型号的噪声、色偏、响应曲线当成"融合规则"的一部分，换一台传感器就失效；
• 融合规则退化成"平均"，而不是"选择"。当两帧输入高度相似时，网络最省力的做法是输出两者均值，因为损失照样很低，但真正有信息互补价值的细节反而丢了；
• 无法享受大规模预训练的红利。分类、检测、生成这些方向都证明了数据规模对模型上限的推动作用，融合这边却因为配对门槛，一直被锁在小数据时代。

所以我觉得，严格配对已经不只是"成本问题"，而是限制了整个融合方向研究范式的结构性问题。这篇标题里的一切，都是围绕这个问题展开的。

2. 任意配对能work的底层逻辑：融合的本质不是对齐

2.1 把"融合"重新定义成两件事

如果抛开数据采集的习惯，回到任务本身想一想：融合到底在做什么？我认为可以拆成两个子问题。

第一个是内容理解。网络要能从每张输入图里提取出"这个场景有什么"，也就是共享内容；同时识别出"这张图里哪些东西是别处没有的"，也就是独有细节。红外图里的人物热辐射轮廓，可见光图里的纹理和颜色，多聚焦图里不同区域的锐利度，都是独有细节。

第二个是细节重组。网络把共享内容作为骨架，再决定哪些独有细节应该被保留、以什么强度融入最终输出。

关键点在这里：第二步"细节重组"，本质上不依赖像素级空间一一对应。只有第一步如果在像素空间硬做，才会被配对关系卡住。所谓严格配对，其实只是数据标注层面的便利条件，并不是融合任务的定义本身。想通这一点，就会明白"去掉配对"并非天方夜谭，它只是把问题从空间对齐挪到了一个更合适的表征空间里解决。

2.2 随便配对反而逼出真能力

为什么任意配对不仅可行，甚至可能比严格配对更好？我自己的理解是：它消灭了一条捷径。

严格配对训练下，两张输入高度相似，网络可以偷懒——直接把两张图平均，损失不会太难看。但任意配对后，两张图内容八竿子打不着，如果网络还是只会平均，那输出就是一个两边都不像的鬼影，所有损失都会爆表。模型被逼着必须学会真正的"选择性保留"机制：哪边的结构更锐利就保留哪边的梯度，哪边的亮度分布更有信息量就继承哪边的整体统计。

这个思路和对比学习里的"负样本"机制有异曲同工之妙。随机配对天然就是一个高质量负样本，它不断提醒模型：你不能靠输入之间的相似性作弊，你得靠对信息价值的真实判断来工作。

另外，任意配对一旦可行，训练数据规模会从几千对被拉到几十万张甚至几百万张无标注图库的级别。融合模型的泛化能力、跨传感器迁移能力、对未知场景的适应能力，都会因为数据多样性而明显改善。

2.3 "任意"不是"瞎配"，课程式过渡很关键

需要强调一点：标题里的"Arbitrarily Paired"，不等于无脑把每张图随机组合。从实操角度看，合理的做法是引入"配对难度调度"。

刚开始训练时，可以先用一部分宽松配对的样本（比如同一场景但只有粗略对齐）让网络先学会基本的融合骨架；中期逐步混入完全随机的同域配对；后期再加大跨模态随机配对的比例。这个过程类似课程学习，让模型从"半监督的舒适区"慢慢过渡到"完全无配对的荒野"。如果一上来就全随机配对，损失函数可能根本找不到下降方向，训练曲线会抖得没法看。

3. 训练配方推演：无配对数据池、网络结构与损失设计

3.1 数据端：无配对图库的构建与配对策略

既然标题说任意配对，那数据端的核心就不再是"怎么对齐"，而是"怎么构建图库"和"怎么确定配对比例"。

我推测的可行性方案是准备三个图池：同模态图池（比如大量可见光自然图像）、跨模态图池（红外或其它传感器图像）、以及一个通用自然图像池用来做对抗训练的真实图像参考。每个池内部完全不要求任何配对关系，只需要保证覆盖足够的场景多样性。

训练时按比例从各图池采样，组成随机配对送入网络。这个比例本身就是一个重要的超参数：同域随机配对太多，模型容易退化成风格迁移；跨域随机配对太多，训练初期可能不稳定。我见过一些类似思路的尝试，比较稳妥的起点是同域:跨域 = 1:1，然后再根据验证集指标调整。

3.2 网络端：扛住任意配对的结构设计

结构上，纯编码器-解码器直接拼一个融合层，在任意配对场景下大概率撑不住。原因是它缺少一个"选择性混叠"机制。

按照标题所体现的方向，合理的结构设计是：共享内容编码器加两条模态独立分支。共享编码器负责提取与模态无关的场景内容；两个独立分支分别提取各自输入里的独有结构。融合模块拿到三份特征后，通过内容相似度计算逐位置的保留权重，而不是靠空间坐标来对应。

这个"无对应关系的交叉注意力"是核心。它的作用是回答一个问题：两个输入在这个位置上内容一致时，融合权重由两者共享；内容不一致时，网络要学会偏向结构更锐利、信息量更大的一侧。整个过程发生在特征空间，不依赖像素坐标对齐，因此天然兼容任意配对输入。

3.3 损失端：从像素级对齐到信息保持

这是整套思路里最需要动刀的地方。严格配对训练可以放心使用"融合结果同时接近两张输入图"的像素级损失，但任意配对下，两张图内容不同，像素级损失根本没法定义。必须把损失搬到信息保持的语义上。

核心可以设计成几个部分：

• 结构保持损失。对每个输入图分别计算融合结果的SSIM和梯度幅度损失，公式大致是 L_struct = (1 - SSIM(F, S_i)) + λ * ||∇F - max(∇S_1, ∇S_2)||，这里的max是逐元素取梯度更显著的一方。它不要求融合结果在像素上与某一张图完全一致，只要求该保留的梯度结构别丢；
• 特征统计匹配损失。用预训练骨干网络提取融合结果和两个输入的深层特征，做均值方差或Gram矩阵的匹配。它的容忍度更高，允许内容不同，但要求整体风格和统计分布同时继承两侧；
• 对抗性损失。让融合结果落在自然图像流形上，防止出现伪影和鬼影。这个对抗项在任意配对场景下尤其重要，因为缺少配对约束时，模型更容易生成"看起来合理但与输入无关"的内容；
• 可选的对比损失。让融合结果的特征在批次内更接近两个输入的内容特征，而远离同批次其它随机图像的特征。这个损失相当于在特征空间里重建了"相关性"，替代了像素空间的配对。

一句话概括：不再要求F在每一个像素上同时像S1和S2，而是要求F整体上保住了S1的锐利纹理，也保住了S2的亮度分布；两张图内容不一致的那些像素，网络自己决定用哪边。

3.4 稳定性：对抗损失与配对调度的配合

任意配对训练加上对抗损失，稳定性比严格配对更敏感。常规建议是生成器和判别器分学习率，生成器1e-4，判别器2e-5左右，并给判别器加谱归一化。如果发现生成器输出出现大面积纹理重复，优先怀疑对抗损失过强，先砍掉一半再观察。

配对调度也需要和损失权重联动。初期跨域随机配对比例低时，对抗损失可以轻一些；后期全随机配对时，对抗损失要适当加重来压制伪影。训练时要固定一个小规模严格配对验证集，每隔若干轮测一次无参考指标，不是拿来训练，纯粹用来判断"往哪个方向优化是对的"。

下面给一个最小训练循环的伪代码，方便有需要的读者对照：

for step, (pool_a_batch, pool_b_batch) in enumerate(train_loader): # 从两个无配对图池各取一批，随机打散构成"任意对" x1, x2 = shuffle(pool_a_batch), shuffle(pool_b_batch) # 前向：共享内容编码器 + 模态分支 + 融合模块 feat1 = modality_branch(x1, modal_id=0) feat2 = modality_branch(x2, modal_id=1) fused = fusion_module(feat1, feat2) # 基于内容相似度的保留权重 # 损失：结构保持 + 特征统计匹配 + 对比 + 对抗 loss = 0.5 * structure_loss(fused, x1, x2) loss += 0.3 * feature_stat_loss(fused, x1, x2) loss += 0.1 * contrastive_loss(fused, x1, x2, batch_others) loss += 0.1 * adv_loss(fused) loss.backward() optimizer.step()

这段代码去掉配对假设之后，数据管线的复杂程度会直线下降——你不再需要预处理流程里的配准模块，也不再需要人工筛选"能用的一对"，一个普通的图库读取器就够了。

4. 没有配对真值怎么验收：指标组合与翻车预警

4.1 无参考指标怎么组合着看

任意配对训练带来的一个连锁问题是：你没法用传统PSNR、SSIM这类有参考指标去评估模型，因为你根本没有"标准融合结果"。只能靠无参考指标组合，而且我不建议只看单一指标，容易自欺欺人。

我自己习惯同时看四类：

正确的用法是交叉验证：互信息和梯度保持同时高，说明信息继承没问题；感知质量指标正常，说明没有明显伪影；信息熵也别突兀。如果某个指标飙升但其它指标掉队，多半是出问题了而不是"融合效果变好"。

4.2 "High-Performance"的验证逻辑

标题里带"High-Performance"，说明这项工作肯定要在标准融合基准上拿出有说服力的数据。但任意配对训练没有配对真值，怎么跟严格配对方法公平比较呢？

合理的做法是在公开的严格配对基准集上做零样本测试：模型训练时完全没见过这些配对样本，推理时却拿它们来评估。如果任意配对训出来的模型，在标准基准集上能追平甚至超过那些在配对集上训练的方法，那这个"High-Performance"的含金量就很高了——因为它把"数据规模带来的泛化优势"和"配对约束带来的精确对齐优势"一并证明了。

进一步还可以做跨传感器泛化实验：用A型红外相机采集的无配对图库训练，直接去融合B型相机的红外-可见光输入。这种实验在严格配对框架下几乎不可能做，因为跨传感器配对数据极度稀缺，而任意配对框架天然适合这种场景。

4.3 三个最容易翻车的地方与监控方法

我推演了一下这套思路最容易翻车的三个点，也顺便给监控手段。

第一个是模态坍缩。模型发现某一模态的纹理总是更丰富，就干脆一直拷贝那一路输出，另一路信息完全丢失。监控办法是分别计算融合结果与两个输入之间的梯度保持比例，如果某一侧长期低于0.3，说明梯度失衡了，要在损失里加重那一路的结构保持项。

第二个是内容幻觉。对抗损失过强时，模型会在没有输入支持的区域脑补细节，生成看起来很合理但实际是伪影的结构。监控办法是高频随机抽取融合输出做视觉检查，并关注感知质量指标的波动。

第三个是配对比例不当导致的不收敛。跨域随机配比太高，初期的梯度方向混乱，损失下不去。解决办法就是我前面说的课程式配对：前期多给同域半配对，后期再放开到全随机。

5. 复现笔记与适用边界：哪些任务适合直接抄

5.1 适合优先落地的融合任务

不是所有融合任务都适合直接套用任意配对训练。根据我自己的经验和对任务特性的理解，收益最大的是下面几类：

• 红外-可见光融合：跨模态且配准极难，任意配对带来的是数量级的训练数据提升；
• 遥感多传感器融合：不同波段、不同重访周期的影像天然难以配对，时间失配几乎无法避免；
• 医学多模态融合：CT与MRI本来就是两次独立扫描，配准成本极高，任意配对能绕开这个成本。

多聚焦融合和多曝光融合相对保守：这两类任务输入内容本身高度相似，严格配对并不难获得，任意配对带来的增益有限，反而可能因为输入差异太大引入不必要的复杂度。

5.2 按最小可行设置复现的步骤清单

如果你想在自己的项目里试一套最小版本，我的建议是按这个顺序推进：

1. 准备两个无配对图池，一个本模态一个跨模态，总共先凑2万到5万张即可，不需要一开始就追求百万级；
2. 用轻量骨干网络搭一个共享内容编码器加双分支，先不要上复杂的跨注意力，用简单的逐元素加权融合跑通；
3. 损失先用特征级SSIM加结构梯度保持，对抗损失先不上，把基础信息保持能力练出来；
4. 加入对抗损失和对比损失，再逐步引入课程式配对调度；
5. 固定一个严格配对的小型验证集，每训练几轮记录无参考指标，判断方向是否正确。

这套流程在一块24GB显存的卡上，2万张图的规模基本能在一天以内跑完一轮验证。比起之前每个严格配对样本都要人工筛、人工对齐的流程，效率完全不是一个量级。

5.3 我踩过的"假配对"坑

这里分享一个实际踩过的坑。早先我在某个跨传感器融合项目里也试过用随机配对训练，一开始思路没想清楚，直接全随机配对加像素级SSIM损失，结果训练完全崩溃——损失震荡剧烈，输出变成纹理最丰富那张图的复刻版，另一路信息直接归零。后来复盘才意识到，问题出在损失函数太"实"了：只要损失里存在任何像素级对齐的暗示，模型就会尝试做空间对应，而随机配对下这种对应根本不存在，模型只能走捷径。

后来我把所有像素级相似度损失都换到特征空间，改成统计量匹配和信息保持的形式，训练才真正稳住。这个教训的核心是：任意配对能不能work，关键在于设计损失时要斩断一切需要空间对应的梯度路径。

5.4 小心：几何强相关的任务别乱抄

最后提醒一句，任意配对训练不是万能药。对于输出几何必须严格跟随输入几何的任务，比如全色锐化、超分融合这类需要精确位置映射的场景，完全去掉配对约束会出问题。这类任务至少需要保留特征级的对齐机制，比如在特征空间做可形变对齐，或者用位置感知的注意力来约束空间关系。

我的判断是：任意配对训练最适合"信息互补大于空间对应"的融合场景，而不适合"空间对应本身就是输出正确性的一部分"的场景。认清这个边界，复现时才能少走弯路。

说实话，看到这篇标题的第一反应，是融合训练终于开始摆脱"手工数据对齐"的路径依赖了。图像分类当年是靠大规模数据起飞的，融合领域一直缺一个类似的规模化信号，严格配对就是横在那里的门槛。如果任意配对训练真能稳定工作，意味着融合模型的数据池能从几百对直接跳到几百万张图库级别，整个训练范式的想象空间都会不一样。

我手头正在做的某跨传感器项目，已经开始按这套思路重新排训练管线了——配准不再是前置条件，而是在特征空间里做软性保持。进展还不能说完全达标，但训练数据的规模确实上了一个数量级，这本身就是以前不敢想的事。如果你也被配对数据折磨过，这篇值得认真读几遍，然后拿自己的任务跑一轮小实验验证下。