长文本语言模型处理超长上下文时，普遍存在明显的“首尾偏置”（Primacy and Recency Bias）现象。这一现象在 2023 年斯坦福大学的研究中被命名为“Lost in the Middle”。当有效证据链或关键信息片段落在 Prompt 中间 30% 至 70% 的区间时，无论是 32k 还是 128k 上下文窗口的模型，召回准确率和推理成功率都会呈现断崖式下跌。
在实际生产系统中，如果把检索增强生成（RAG）返回的多篇相关文档简单地按相似度得分从高到低顺序拼接，排名中游的参考材料极大概率会被模型“视而不见”，导致回答出现事实遗漏甚至严重幻觉。
注意力衰减与 U 型性能曲线机理
造成中段遗忘的底层原因来自注意力机制在长序列上的累积漂移。自注意力矩阵的权重分布并非在整个上下文空间中均匀摊销。输入序列的起始位置承担着初始化上下文语义锚点的重任，因而在自回归计算中享有持续的高注意力聚集，这被称为注意力汇聚（Attention Sink）机制。序列的尾部 Token 则由于邻近待生成的输出位置，在局部上下文因果关联中占据天然的高概率权重。
当文本长度扩展到数万 Token 时，注意力矩阵的 Softmax 计算会进一步放大这种首尾两极分化。中间区间的 Token 缺乏强烈的因果拉力，彼此之间的交叉注意力被两端的超高权重稀释。模型在解码前向传播时，表征隐藏层对中段信息的表征能力显著衰减，最终在宏观上表现出检索精度典型的 U 型曲线。
双向倒金字塔重排策略
单纯指望模型预训练阶段消除注意力首尾偏置并不现实，更务实的工业解法是在推理调度层对 Context 进行重新拓扑排布。我们团队在长文档问答引擎中采用了一种“双向倒金字塔重排”（Bi-directional Inverted Pyramid Re-ranking）算法。
该策略的核心逻辑是：将检索系统根据余弦相似度排出的前 $K$ 个文档块，打破原本的线性单调顺序，将最相关的文档分别部署在整个输入窗口的头部和尾部，次相关的文档逐步向中间靠拢。
具体重排映射规则如下：
- 排名第 1 的文档放置在最末尾（临近生成指令的前哨）；
- 排名第 2 的文档放置在最前沿（系统提示词后的第一个位置）；
- 排名第 3 的文档放置在紧贴末尾文档的前方；
- 排名第 4 的文档放置在紧贴前沿文档的后方；
- 依此类推，相似度相对最低的文档最终被推挤到正中央。
通过这种交替回流排布，最高权重的核心证据被强制锁定在注意力最集中的两端窗口内，直接规避了关键事实掉入中段盲区的风险。
断层锚点与段落索引注入
仅靠倒金字塔重排依然无法彻底解决中段材料完全沦为废料的问题。当用户提出的问题属于全局归纳型、必须依赖中间段落拼接逻辑链条时，必须为中间段落赋予额外的注意力吸引子。
工程上的有效手段是注入“断层锚点”（Fault-line Anchors）和显式段落结构元数据。在切分文档块拼接时，给每一个分块增加全局位置标记和语义概要前缀，并在每个文档分块的结尾追加明确的反向溯源标签。
以下为生产环境中使用 Python 实现的双向重排与锚点注入组件：
import math from typing import List, Dict, Any class ContextReorderEngine: def __init__(self, anchor_interval: int = 3): self.anchor_interval = anchor_interval def reorder_documents(self, docs: List[Dict[str, Any]]) -> List[Dict[str, Any]]: """ 根据检索得分，将文档交替分流至首部与尾部 docs 假定已按照相关度降序排列 """ if len(docs) <= 2: return docs head_list = [] tail_list = [] for idx, doc in enumerate(docs): if idx % 2 == 0: # 偶数索引放置在尾部缓冲列表 tail_list.append(doc) else: # 奇数索引放置在头部缓冲列表 head_list.append(doc) # 尾部列表逆序拼接，使得相关度最高的文档紧邻提问区 tail_list.reverse() return head_list + tail_list def inject_anchors(self, ordered_docs: List[Dict[str, Any]]) -> str: """ 在文档流中注入结构化索引与语义断层锚点 """ total = len(ordered_docs) midpoint = total // 2 formatted_blocks = [] for i, doc in enumerate(ordered_docs): doc_id = doc.get("id", f"DOC-{i+1}") title = doc.get("title", "Reference Snippet") content = doc.get("content", "").strip() score = doc.get("score", 0.0) # 针对正中间容易遗忘的区域追加显式注意力标记 is_middle_zone = abs(i - midpoint) <= (self.anchor_interval // 2) prefix = f"[DOC_ID: {doc_id} | REL_SCORE: {score:.3f}]" if is_middle_zone: prefix = f"== [CRITICAL_INSPECTION_POINT] {prefix} ==" block = ( f"{prefix}\n" f"SOURCE: {title}\n" f"CONTENT:\n{content}\n" f"[/DOC_ID: {doc_id}]" ) formatted_blocks.append(block) return "\n\n".join(formatted_blocks) def assemble_prompt(self, system_prompt: str, docs: List[Dict[str, Any]], query: str) -> str: reordered = self.reorder_documents(docs) context_body = self.inject_anchors(reordered) assembled = ( f"<|im_start|>system\n{system_prompt}\n<|im_end|>\n" f"<|im_start|>context\n{context_body}\n<|im_end|>\n" f"<|im_start|>user\n{query}\n<|im_end|>\n" f"<|im_start|>assistant\n" ) return assembled线上实测与评估收益
在实际业务测试集上，我们构建了包含 500 个复杂金融研报抽查题目的测试基线。每道题目对应 20 个相关文档切片，总上下文长度稳定在 48k 到 60k Token。测试指标聚焦在“核心事实在中段分布时的召回问答准确率”。
未做重排时，当核心事实位于文档流第 8 至第 13 位之间时，主流 72B 模型的单项准确率仅为 41.2%；改用双向倒金字塔重排后，核心事实由算法自动移至两端，该项指标直接提升至 84.6%。而对于多个散落在中段、必须联动推理的交叉线索，配合断层锚点注入后，整体多跳因果推理准确率从 32.8% 回升至 71.5%。
优化长文本并不是一味追求把窗口拉大到 1M 或 2M，盲目扩张只会加剧注意力的熵增。把上下文重排与结构化提示工程结合起来，用确定性的管道约束非确定性的模型注意力，才是保证工业级检索问答稳定性的底层底线。
