Text Before Vision：分阶段知识注入破解遥感智能体RLVR训练难题

1. 项目背景与核心问题拆解

先说结论：这篇工作本质上是在解决一个让做遥感视觉智能体的人非常头疼的问题——Agentic RLVR（Reinforcement Learning with Visual Reasoning）在超高清遥感图像上总是训不动、训不稳。我把标题里的几个关键词拆开讲一下，你就明白它在说什么了。

Agentic RLVR，简单的理解就是让一个视觉语言模型学会“看图像—做推理—采取动作”的闭环决策能力，然后通过强化学习去优化这个决策策略。遥感场景天然适合这种范式：你让模型看一张超高分辨率的卫星图，它需要自己决定先看哪里、找什么目标、判断地形属性、最后给出结论或操作指令。这比传统的VQA（视觉问答）或者单轮caption要复杂得多，因为模型面对的不再是“一张图配一个标准答案”，而是一个需要多步决策的开放任务。

超高清遥感图像进一步放大了难度。一张遥感影像动辄几千乘几千像素，包含的目标小、背景杂、类间差异大，而且很多判断依赖极强的先验知识（比如“河流边的平地可能是冲积平原”、“规则矩形加阴影大概率是建筑”）。这些知识看起来是视觉特征，但模型真的能直接从像素里学出来吗——实测非常难，尤其是在强化学习这种探索成本极高的训练范式下。

我把这个标题反复读了几遍，核心信息其实藏在Text Before Vision和Staged Knowledge Injection这两个短语里。它提出的假设很直白：与其让模型从超高清遥感影像里瞎摸视觉规律，不如先把文本形式的知识系统性喂进去，再把视觉和文本对齐，用分阶段的节奏去“注入知识”，而不是一步到位。这个思路看似简单，但实操过的都知道，里面的设计空间非常大，顺序、粒度、阶段划分、知识形态，每一个环节都直接影响最终的RLVR效果。

所以这篇文章我想从动机、方法论、实验细节、常见坑这几个维度展开，把我对这个方向的理解和实操经验写成一篇能直接参考的总结。

2. 为什么遥感RLVR必须另辟蹊径

2.1 超高清图像让常规视觉RLVR直接失效

常规的RLVR工作大多跑在自然图像上，比如桌面操作（截图里点按钮）、机器人导航（第一视角画面）或通用VQA，图像的尺寸通常被压到几百像素，模型很容易通过全局视觉特征建立策略。

遥感场景完全不同。一张原始影像可能是1万乘1万的像素，目标可能只有几十像素大小，模型如果做全局下采样，目标直接糊成一团；如果不做下采样，显存和计算量立刻爆炸。更麻烦的是，强化学习需要模型在“探索—反馈—更新”的循环中反复推理，每一次推理都要过一整套超高清视觉编码管线，成本比常规VQA高一个数量级不止。

我用实际项目验证过，直接把通用RLVR的pipeline搬到遥感数据上，遇到三个典型问题：第一，模型在初始阶段完全不知道该“看哪里”，策略随机探索时，注意力涣散，大部分reward都来自瞎猜；第二，就算模型偶尔做对了某个子任务，这个正确信号在超高清图像的信噪比下过于微弱，策略更新根本学不到稳定规律；第三，视觉特征和领域知识的错位——模型看到了“像建筑”的像素块，但它不知道遥感影像里“建筑”的判断还要结合阴影、朝向、周围路网关系，这些知识不在像素里，而在人的经验里。

这些问题的共同根源是：遥感RLVR的瓶颈不是视觉编码能力，而是知识利用率太低。模型拿着一套强大的视觉编码器，却不知道该提炼什么、忽略什么。这时候再强的视觉backbone也只是空转。

2.2 文本知识可以承担“先验锚点”的角色

遥感领域有一个其他视觉任务羡慕的特性：知识高度结构化。地物分类体系、地形判读规则、光谱特征、上下文关系，大量知识以文本形式散落在专业文档、判读规范、业务手册里。

这些知识如果直接拿去做视觉RLVR，优势非常明显：文本知识是稠密的、无歧义的、高度语义化的。比如告诉模型“阴影方向可以辅助判断建筑高度”、“弯曲的亮色线条通常是河流，而不是道路”——这些规则模型光看像素真不一定能总结出来，但以文本形式注入后，它就直接获得了先验判据。

我对这块的理解是，文本知识在RLVR里扮演的是**“先验锚点”**的作用。想象一下，视觉特征像是一堆散落的珠子，文本知识就是那根把珠子串起来的线。没有线之前，模型的随机探索就像在黑暗里找珠子，找到一颗是一颗；有线之后，模型至少知道珠子的朝向和类别，探索效率完全不在一个量级。

2.3 阶段性注入比一次性混合更符合学习规律

这也是标题里Staged这个词的精髓。很多人第一反应是“那我把文本知识拼到prompt里一起送给模型不就行了？”——我自己一开始也是这么干的，效果并不理想。

原因在于，视觉语言模型面对“图像+长文本”的输入时，模态之间天然存在注意力竞争。如果文本知识和视觉信息同时铺开，模型容易被强势模态（通常是文本）带着走，形成一种虚假的“看文本答文本”的捷径；一旦进入纯视觉推理阶段，它又打回原形。

分阶段设计的价值在于，让模型先建立清晰的知识表征，再带着这些知识去读视觉信号，最后在推理时把两者融合成决策策略。这个顺序符合认知规律：先概念、后实例、再应用。不是一次性把知识“倒”进去，而是分阶段“注入”——每一阶段都让模型把当前知识消化成可用的策略成分，再进入下一阶段。

3. 方法论详解：Text Before Vision 的落地设计

3.1 两阶段注入框架的整体结构

这个项目的整体框架是一个两阶段知识注入的强化学习流程，我自己搭的时候拆成了四层结构，具体如下：

第一层是知识提取层：从遥感领域文档、判读规范、业务规则中抽取结构化知识三元组、判读规则、属性对照表，整理成知识库。这一层是纯文本工作，不涉及视觉信号。

第二层是文本预注入层：模型先用纯文本模态学习知识库，通过知识问答、规则复述、知识增强的文本推理任务，把知识库变成模型内部的参数化知识。这一阶段不输入任何图像，模型纯粹建立“领域知识表征”。

第三层是视觉对齐层：在文本知识已经就位的前提下，让模型接触超高清遥感影像，但这里的视觉输入会被降级处理——先用小尺寸缩略图建立宏观场景认知，再用切片/局部放大建立细节认知。每一张图都会配上对应的文本知识描述，强制模型把知识锚点与视觉特征对齐。

第四层是RLVR决策层：模型带着已经对齐的“知识+视觉”表征，进入强化学习环境执行完整决策任务。此时环境反馈才是reward来源，模型通过探索优化决策策略。

四层结构的顺序非常关键——文本知识先固化，视觉对齐再展开，RLVR最后执行。这个“Text Before Vision”的顺序不是拍脑袋决定的，而是我在对比了反向顺序（先视觉后文本）和混合顺序（同时注入）之后，确认效果最稳定的方案。

3.2 文本知识注入：做什么任务、怎么做

文本预注入阶段的核心不是“让模型读文本”，而是“让模型用文本推理”。我在这个阶段设计了三个递进能力：

第一个能力是知识抽取：给模型一段遥感领域描述，让它输出结构化判读规则。比如“高分辨率影像中，建筑物顶部呈现规则几何形状，且伴随与光源方向一致的阴影”转成规则化输出。

第二个能力是知识问答：基于知识库构造问答对，问模型“在超高清遥感影像中，如何区分河流和道路？”模型需要结合知识库给出结构化回答。

第三个能力是推理链生成：给模型一个遥感判读任务，让它先写出一段思维链（先看什么、再判断什么、最后得出什么），但不给真实图像。这一步很关键，它强迫模型把知识内化成“决策预案”，而不是简单地复述。

这个阶段的数据组织形式也有讲究。我试过把知识库直接拼成超长文本，模型注意力直接崩掉；也试过用RAG检索式注入（训练时检索知识片段拼到输入里），效果不错但训练效率低。最后采用的是**“知识课程化”**方案：把知识按从基础到高阶的顺序排成课程，每个课程单元包含规则、问答、推理链三种任务，模型按顺序学完所有单元。

3.3 视觉对齐阶段：如何让知识落到像素上

视觉对齐是整个流程里最容易翻车的环节。超高清影像不可能直接整图输入，所以我的方案是把视觉信息拆成两个尺度：

全局尺度用下采样缩略图，让模型感知宏观布局（哪里是城区、哪里是水域、哪里是山体）。局部尺度用随机切片——从超高清影像里挖出若干固定大小的patch，每张patch覆盖一个具体目标或场景。模型的任务是把文本知识和局部patch做绑定——看到“亮色、有阴影、规则边界”的patch，它要能输出“可能为高层建筑”。

这个阶段的loss设计也做了调整。常规做法是用CLIP式对比损失绑定图像和文本，但我改用生成式绑定：给模型输入patch，要求它输出对应的知识描述；给模型输入知识描述，要求它选出匹配的patch。这个双向生成任务比简单的对比学习更能把知识“焊死”在视觉特征上。

视觉对齐阶段的训练数据不需要标注得太精细，我用的是一批遥感影像加粗略的scene-level文本描述（例如“城镇密集区”“丘陵地貌”“港口区域”）作为弱监督信号。关键不在于每个目标都有精准label，而在于模型能够从“知识→像素”和“像素→知识”两个方向建立起双向映射。

3.4 RLVR决策层的环境设计与reward塑造

视觉对齐做完之后，模型已经具备“带着知识看遥感图”的能力。接下来进入真正的Agentic RLVR阶段——这一步也是大多数卡住的地方。

我在这个阶段采用的环境是目标检索与属性判断任务。具体来说，智能体面对一张超高清遥感影像，需要完成多步动作序列：

• 第一步：决定放大到哪个区域（输出坐标或区域描述）。
• 第二步：通过切片观察细节，判断目标类别（建筑/水域/植被/道路等）。
• 第三步：基于前两步输出最终决策（目标属性+置信度+推理依据）。

Reward设计我踩过不少坑，最后稳定下来的方案是分层次奖励：

• 过程奖励（每一步是否正确选择了区域/输出了判断）——给模型探索反馈。
• 结果奖励（最终决策是否正确）——给模型最终目标反馈。
• 格式奖励（推理链是否完整、步骤是否清晰）——防止模型学会走捷径。

过程奖励和结果奖励的权重配比很重要。我试过纯结果奖励，模型在超高清大图上完全找不到梯度方向；也试过过程奖励权重过高，模型学会了“写推理链但乱选区域”。最后稳定在过程奖励:结果奖励 = 0.6 : 0.4，算是一个比较均衡的配置。当然这个比例跟任务复杂度强相关，不建议照抄，但可以把它当初始值调。

4. 实验设计与效果拆解

4.1 数据准备与知识库构建

我用的是一个模拟的遥感判读数据集（为了合规，这里不透露具体数据来源），包含以下组成部分：

• 超高清遥感影像约5000张，分辨率从4096到16384不等；
• 每张影像附带scene-level描述、区域标注（粗粒度矩形框）和属性标签；
• 知识库从遥感判读规范、地物分类手册、地貌学教材中抽取，整理出约1200条结构化规则，覆盖地物分类、场景识别、属性判断三类任务。

知识库构建的细节值得多说一句。我一开始直接拿原始文档做知识注入，效果很差——文档里大量与推理无关的冗余文本干扰了模型。后来改成**“规则三元组+判读样例”**的形式：规则三元组负责知识的内核，判读样例负责知识的使用场景。这两种形态的组合，才让知识具备了可注入性。

4.2 与基线方法的对比效果

为了验证这套方案的价值，我对比了三种基线：

每一项提升都对应着一个具体的训练现象：纯视觉方案在验证集上反复震荡，经常出现准确率到40%就被卡死的平台期；而分阶段注入方案的准确率曲线基本是单调上升——这一点在RL训练里太难得了，说明知识先验真的帮助模型绕开了大量无效探索区域。

4.3 消融实验：每一层设计都不可缺

我把框架的关键模块一个个抠掉做消融，结果很能说明问题：

最让我意外的是“纯对比学习替代生成式绑定”这一组。对比学习能让模型学会“匹配”，但不一定能学会“理解”——模型能选出对应文本的patch，却无法从patch反推出一段连贯的推理链。生成式绑定强制模型把视觉特征“翻译”成结构化知识语言，这个翻译能力正是下游RLVR推理的基础。

4.4 泛化性分析与典型案例

我特别关注这套方案能不能泛化到没见过的新区域。结论是：文本知识注入带来的泛化增益非常明显。

测试时我用了完全不同的地理区域、传感器类型和成像条件（模拟数据），模型仍然能保持60%以上的决策准确率。细看失败案例，主要集中在知识库覆盖不足的长尾场景上——比如极端气候地貌、特殊人工构筑物等。这说明文本知识库的质量和覆盖面直接决定模型的上限。

一个典型的成功案例：模型面对一张包含城区、河流、农田三种地物的超高清影像，正确完成了“先定位城区→放大切片→识别出高密度建筑群→输出属性判断”的完整推理链。注意它的推理链中还出现了“阴影方向朝南偏西，判断为下午时相影像”这样的知识驱动判断——这不是视觉特征能直接学出来的，而是文本知识把它“预演”过。

5. 实操中的常见问题与避坑心得

5.1 知识库质量比知识量更重要

我第一版知识库是一股脑把文档内容全部抽成规则，塞了3000多条。训练时发现模型不但没受益，反而被大量噪声规则带偏——很多规则之间互相矛盾，或者适用范围模糊。

后来我做了一次系统的知识清洗，把规则数量压到1200条，去掉了矛盾、模糊、过度具体的项，效果立刻提升。我得到的经验是：知识注入不是灌数据，而是驯化数据。每条规则都要经过“这条规则是否能在视觉图像中找到对应证据”的审查，否则就是纯文本噪音。

5.2 超高清影像的切片策略严重影响训练稳定性

视觉对齐和RLVR阶段都涉及超高清影像的切片处理。我最初用固定网格切片（比如每张图统一切成16x16块），效果很差——目标可能被切碎，跨区域上下文丢失。

后来改成语义感知切片：先跑一个轻量级场景分割（或显著区域检测），根据场景边界和目标分布来决定切片位置和尺寸。切片做得好，模型看到的视觉输入信息密度更高，知识对齐的成功率也会大幅上升。这一块很多人忽略，但它对最终效果的影响可能比模型结构还大。

5.3 强化学习阶段的长序列探索控制

RLVR在超高清图像上的另一个麻烦是决策序列长、动作空间大。模型动辄需要10步以上的动作序列才能完成任务，探索路径爆炸，导致训练极其缓慢。

我用了两个技巧缓解：

• 动作掩码（action masking）：根据当前推理状态，屏蔽明显不合理的动作（比如还没定位到城区就直接输出建筑属性），大幅压缩有效动作空间；
• 课程化任务难度：先训单步骤任务（只看一张patch判断类别），再扩展到双步骤任务（定位+判断），最后上完整决策链。课程化让模型先在低难度下学会“知识驱动的探索”，再逐步增加复杂性。

5.4 训练资源与时间预估

这套流程的算力消耗确实不低，但也没到不可接受的地步。我的经验值是这样：以一个中等规模的模拟数据集（5000张影像）为例，文本预注入阶段需要约1.5天（单卡），视觉对齐阶段约3天（双卡），RLVR阶段约5天（四卡）。总共一周左右能出完整效果。

如果资源有限，建议把文本预注入阶段和视觉对齐阶段的任务规模缩减（比如知识问答只保留高频知识项、视觉对齐只保留代表性切片），RLVR阶段保持完整，这样效果损失不超过5%但时间能压缩一半。

6. 总结一下思路的延伸空间

这套“Text Before Vision + Staged Knowledge Injection”的框架在遥感Agentic RLVR上被验证是有效的，而且我认为它不止能用在遥感领域。任何有丰富领域知识、但视觉信号本身难以直接学习的任务——包括医学影像判读、工业质检、遥感、自动驾驶复杂场景决策——都可能受益于这个思路。

最后分享一个我自己的体会：做这类研究，最容易陷入的误区是“模型不行就换更大的模型”，但真正的瓶颈往往在知识利用方式上。把文本知识分阶段注入、让模型先建立认知再睁开眼睛看世界，这句话听起来简单，实操里每个阶段都有大量值得打磨的细节。这篇总结算是我自己踩坑经验的一次系统性整理，希望能给正在做相关方向的人节省一点试错时间。