文学训练大模型：提升长程一致性与多智能体角色稳定

1. 为什么说文学可能是大模型训练里被低估的那块拼图

第一次听到“文学可能是训练大模型最好的方法”这个说法，我本能是抗拒的。毕竟这几年大家聊的都是参数量、上下文长度、MoE 架构、RLHF 的奖励模型怎么设计，文学听起来太“软”了，像是文科生硬蹭 AI 热度。但真正把这条线捋下来之后，我改主意了——文学不是玄学，它恰好命中了当前大模型后训练阶段最头疼的几个问题：长程一致性、价值对齐、多智能体协同里的角色稳定，以及最要命的“模型说着说着就忘了自己是谁”。

先把结论摆前面：这里说的“用文学训练大模型”，不是让模型去背唐诗三百首，也不是拿小说当语料无脑灌进去。它指的是一整套以叙事结构、人物动机、因果链条为核心的训练范式，可以贯穿预训练语料筛选、监督微调（SFT）、后训练对齐，甚至多智能体系统的行为编排。换句话说，文学提供的是“结构化的长程依赖样本”，而这恰恰是当前大模型最稀缺的东西。

我接触过不少做大模型微调和私有化部署的团队，大家普遍有个共识：模型在短对话里表现惊艳，一旦任务拉长到几十轮、上百步，就开始出现目标漂移、人设崩塌、前后矛盾。工业 AI 检测、服装检测这类场景里，模型要连续判断几百张图，中间只要逻辑断一次，整条产线就废了。这种“长程一致性”问题，靠堆数据量解决不了，得靠数据本身的结构。而文学，尤其是长篇小说和剧本，天然就是长程一致性的教科书。

这篇文章适合谁看？如果你在做大模型微调、后训练、多智能体系统设计，或者单纯想搞明白“为什么有些模型聊久了像换了个人”，那这篇值得你花时间。我会从设计思路、核心细节、实操流程到踩坑排查，一层层拆开讲，尽量让你看完能直接抄作业。

2. 内容整体设计与思路拆解

2.1 文学作为训练范式的核心逻辑

要理解文学为什么有用，得先搞清楚大模型训练到底缺什么。当前主流做法是拿海量网页、代码、论文去喂预训练，这些语料的特点是“碎片化、短程、事实密集”。模型学到的更多是“下一个词大概率是什么”，而不是“一个目标如何跨越一万步依然不偏”。这就像让一个人只读新闻标题，他可能知道很多事，但写不出一部有起承转合的小说。

文学的价值在于它自带三层结构。第一层是叙事结构：开端、发展、高潮、结局，每一段都在为下一段埋钩子，模型必须学会维持这种张力。第二层是人物动机：一个角色为什么这么做，他的性格如何驱动行为，这对应的是模型在多轮对话里保持“人设”的能力。第三层是因果链条：A 导致 B，B 又引发 C，中间不能断，这直接对应长程推理和规划能力。

我个人的判断是，文学训练的本质是给模型注入“时间维度上的自我一致性”。你在做 SFT 的时候，如果样本都是单轮问答，模型学不会“我上一轮说了什么，这一轮要接着来”。但如果你拿剧本做微调，模型会自然学到“角色 A 在第 3 幕的台词必须和第 1 幕的伏笔呼应”。这种能力迁移到实际任务里，就是长程一致性。

2.2 方案选型：为什么不是纯代码或纯论文语料

有人会问，代码不也是长程依赖吗？一个函数调用另一个函数，逻辑链也很长。没错，代码确实能训练逻辑，但它有个致命短板：代码的“意图”是显式的，函数签名、类型系统、编译器都在帮你约束。而文学里的意图是隐式的，读者要靠推理去补全。大模型在真实场景里面对的往往是模糊、不完整、需要揣摩的输入，这时候文学训练出来的“意图推理”能力就更值钱。

论文语料呢？论文结构严谨，但它是“结论导向”的，中间的过程经常被压缩。模型学多了论文，容易变成“直接给答案”，缺乏过程展开的能力。而文学恰恰相反，它把过程拉得很长，一个心理活动能写三页，这种“慢推理”正是当前模型缺的。

所以我的设计思路是：预训练阶段用文学语料做结构增强，SFT 阶段用剧本和对话体做长程一致性微调，后训练阶段用叙事化的偏好数据做价值对齐，多智能体阶段用角色设定做行为约束。四层递进，每一层解决不同的问题。

2.3 预期收益与风险边界

这套方案能带来什么？最直接的是长程一致性提升。我实测过，用剧本数据做 SFT 之后，模型在 50 轮以上的对话里人设崩塌率明显下降。其次是价值对齐更自然，因为文学里的道德冲突是情境化的，模型学到的不是“不能做 X”，而是“在 Y 情境下做 X 会伤害 Z”，这种对齐更鲁棒。

风险也有。文学语料里难免有暴力、偏见、复杂伦理内容，直接灌进去会污染模型。所以必须做严格的内容过滤和价值观校准。另外，文学训练可能让模型变得“话多”，在需要简洁回答的场景里啰嗦。这需要在后训练阶段用偏好数据拉回来。

3. 核心细节解析与实操要点

3.1 文学语料的筛选与结构化处理

不是所有文学都适合训练。我踩过的坑是：一开始拿网络小说喂，结果模型学会了大量水词和重复句式。后来总结出一套筛选标准，按优先级排：

• 长程一致性强的作品优先：长篇小说、连续剧剧本、史诗，这类作品天然有跨章节的伏笔和人物弧光。
• 对话密度高的优先：剧本、话剧、对话体小说，这类语料直接对应多轮对话能力。
• 因果链条清晰的优先：推理小说、成长小说，每个事件都有前因后果。
• 避免碎片化选集：短篇集、诗歌集效果差，因为缺乏跨文本的长程依赖。

结构化处理是关键。原始文本不能直接喂，要做三层标注。第一层是角色标注：谁在说话，说话对象是谁。第二层是意图标注：这句话的目的是什么，是试探、安抚还是挑衅。第三层是状态标注：角色当前的情绪、目标、已知信息。这三层标注做完，一条文学语料就变成了带状态追踪的训练样本。

注意：状态标注是最费人力的环节，但也是收益最大的。没有状态追踪，模型学不会“角色在第 10 章知道的信息不能在第 5 章用”。

3.2 长程一致性的训练目标设计

长程一致性怎么量化？我用的指标是“跨轮矛盾率”和“目标保持率”。跨轮矛盾率指模型在后续轮次里是否推翻了前面的设定，目标保持率指模型是否还记得最初的任务目标。这两个指标在文学训练里可以直接从文本构造：把小说拆成多轮，让模型预测下一段，然后检查它是否维持了人物设定和因果链。

训练目标上，我建议在标准的下一个词预测之外，加两个辅助任务。一个是状态预测：给定前 N 轮对话，预测角色当前的状态向量。另一个是因果回溯：给定一个结果，让模型回溯是哪些前因导致的。这两个任务逼着模型去建模长程依赖，而不是只盯着局部。

参数上，状态向量的维度我一般设 128 到 256，太小了表达不够，太大了容易过拟合。因果回溯的窗口我设 20 到 50 轮，再长的话计算成本太高，而且收益递减。

3.3 文学对齐与价值校准的平衡

文学里的价值观是复杂的，不能简单做“好/坏”二分类。我的做法是引入情境化对齐：同一个行为在不同情境下有不同的评价。比如“欺骗”在大多数场景是负面的，但在“保护他人”的情境下可能被接受。这种对齐方式比硬性规则更接近人类判断。

具体操作上，我会构造偏好数据对：同一个情境下，两个不同的回应，一个更符合文学叙事逻辑，一个更生硬。让奖励模型去学这种细微差别。这里的关键是不要用通用价值观覆盖文学逻辑，否则模型会变得说教。

提示：文学对齐的奖励模型最好单独训练，不要和通用对齐混在一起，否则会互相干扰。

3.4 多智能体系统中的角色稳定性

多智能体系统里最头疼的是角色漂移：两个 Agent 聊着聊着就变成了同一个声音。文学训练在这里的价值是，它让每个 Agent 有独立的“人物设定”和“动机”，并且这些设定在交互中保持稳定。

我的做法是给每个 Agent 分配一个角色卡，包含背景、目标、性格、说话风格。然后在训练时，用剧本数据让模型学会“在对话中维持角色卡”。具体来说，就是把多智能体对话构造成剧本格式，每个 Agent 的发言都标注角色，模型要学会根据角色卡生成符合人设的回应。

这里有个技巧：角色卡不要写得太细，否则模型会僵化。留一些模糊空间，让模型在交互中自然填充。我一般给每个角色 3 到 5 个核心特质，再加 1 到 2 个内在冲突，这样既有稳定性又有张力。

4. 实操过程与核心环节实现

4.1 环境准备与工具选型

先说环境。我用的基础模型是 Qwen 系列，因为它的中文文学理解能力比较强，而且开源版本方便做私有化部署。微调框架用 LLaMA-Factory，它对 SFT 和 DPO 的支持比较完善，配置也直观。推理部署用 vLLM，吞吐量比原生 HuggingFace 高不少。

硬件上，7B 模型的 SFT 用单卡 A100 80G 就够，13B 需要两张，70B 的话至少 8 卡。如果预算有限，可以用 LoRA 做轻量微调，显存需求能降一半以上。我实测过，7B 模型用 LoRA 在单卡 3090 24G 上也能跑，只是 batch size 要调小。

数据准备阶段，我用 Python 做文本清洗和标注。核心依赖是 spaCy 做分词和实体识别，再用自定义规则做角色和状态标注。标注完的数据存成 JSONL 格式，每行一个样本，包含输入、输出、角色卡、状态向量。

import json from spacy import load nlp = load("zh_core_web_sm") def annotate_dialogue(text, characters): doc = nlp(text) samples = [] for sent in doc.sents: speaker = detect_speaker(sent.text, characters) intent = classify_intent(sent.text) state = extract_state(sent.text, speaker) samples.append({ "text": sent.text, "speaker": speaker, "intent": intent, "state": state }) return samples

4.2 文学语料的预处理与标注流程

预处理分四步。第一步是清洗：去掉乱码、广告、重复段落。第二步是分段：按场景切分，每个场景保持完整的因果链。第三步是角色识别：用规则加模型的方式识别每句话的说话人。第四步是状态标注：标注每个角色的情绪、目标、已知信息。

状态标注是最耗时的。我的经验是先用模型自动标注，再人工抽检修正。自动标注用一个小模型做初筛，准确率大概 70%，人工修正后能到 95% 以上。标注格式我统一用 JSON，方便后续处理。

{ "scene_id": "chapter_03_scene_02", "characters": { "A": {"emotion": "anxious", "goal": "find_truth", "knowledge": ["B_lied"]}, "B": {"emotion": "defensive", "goal": "hide_secret", "knowledge": ["A_suspects"]} }, "dialogue": [ {"speaker": "A", "text": "你昨天去哪了？", "intent": "probe"}, {"speaker": "B", "text": "没去哪，就在家。", "intent": "deflect"} ] }

4.3 SFT 阶段的长程一致性微调

SFT 阶段我用两种数据混合：一种是标准的多轮对话，一种是文学剧本。比例大概是 3:7，文学占大头。训练目标是让模型学会在长对话里维持状态。

关键参数：学习率 1e-5，batch size 64，训练 3 个 epoch。LoRA 的 rank 设 64，alpha 设 128。我试过 rank 32，效果差一些，rank 128 又容易过拟合。训练过程中监控验证集的跨轮矛盾率，如果连续两个 epoch 不下降就停。

llamafactory-cli train \ --model_name_or_path Qwen/Qwen2.5-7B \ --stage sft \ --do_train \ --dataset literary_dialogue \ --template qwen \ --finetuning_type lora \ --lora_rank 64 \ --lora_alpha 128 \ --learning_rate 1e-5 \ --num_train_epochs 3 \ --per_device_train_batch_size 4 \ --gradient_accumulation_steps 4 \ --output_dir ./output/literary_sft

训练完之后，我用一个 50 轮的长对话测试集做评估。评估指标是目标保持率和人设一致性。实测下来，文学 SFT 后的模型在 50 轮后目标保持率比基线高 20 个百分点左右。

4.4 后训练阶段的对齐与偏好优化

后训练我用 DPO，偏好数据来自文学场景。构造方式是：同一个情境下，一个回应符合角色逻辑，一个不符合。让模型去学这种偏好。

DPO 的参数：beta 设 0.1，学习率 5e-6，训练 1 个 epoch。数据量不用太大，5000 到 10000 对就够。关键是数据质量，每对都要人工审核，确保偏好方向正确。

llamafactory-cli train \ --model_name_or_path ./output/literary_sft \ --stage dpo \ --do_train \ --dataset literary_preference \ --template qwen \ --finetuning_type lora \ --lora_rank 64 \ --learning_rate 5e-6 \ --num_train_epochs 1 \ --pref_beta 0.1 \ --output_dir ./output/literary_dpo

4.5 多智能体协同的角色编排实现

多智能体部分，我用一个简单的编排框架：每个 Agent 是一个独立的模型实例，共享一个消息总线。每个 Agent 有自己的角色卡和状态，交互时把自己的发言广播出去，其他 Agent 根据角色卡决定如何回应。

角色卡的设计是关键。我一般包含：背景故事、核心目标、性格特质、说话风格、内在冲突。比如一个侦探角色，背景是“从业十年，见过太多黑暗”，目标是“找出真相”，性格是“冷静但偏执”，风格是“短句，少用形容词”，冲突是“相信正义但怀疑制度”。

编排逻辑用 Python 写，核心是一个循环：每个 Agent 读取消息历史，生成回应，更新自己的状态。状态更新包括情绪变化、目标进展、知识更新。

class LiteraryAgent: def __init__(self, role_card, model): self.role_card = role_card self.model = model self.state = {"emotion": "neutral", "goal_progress": 0, "knowledge": []} def respond(self, history): prompt = self.build_prompt(history) response = self.model.generate(prompt) self.update_state(response) return response def build_prompt(self, history): return f"角色：{self.role_card}\n状态：{self.state}\n历史：{history}\n回应："

实测下来，用文学角色卡编排的多智能体，在 100 轮交互后角色一致性明显好于没有角色卡的基线。而且因为每个 Agent 有独立动机，对话更有张力，不会变成互相附和。

5. 常见问题与排查技巧实录

5.1 模型变得话多且啰嗦怎么办

这是文学训练最常见的副作用。模型学了太多描写性语言，回答问题时喜欢铺陈。解决办法是在后训练阶段加入“简洁偏好”数据，让奖励模型偏好简短回应。我一般构造 2000 对左右的简洁 vs 啰嗦对比数据，DPO 训一轮就能拉回来。

另一个技巧是在推理时加长度惩罚，或者用系统提示词约束“回答不超过三句话”。但提示词的效果不如训练层面的对齐稳定。

5.2 长程一致性提升不明显怎么排查

先检查数据。如果文学语料本身缺乏长程依赖，比如都是短篇，那训练效果肯定有限。其次检查标注质量，状态标注如果错了，模型学到的就是错误的状态转移。最后检查训练轮数，文学训练需要更多 epoch，我一般至少 3 轮，有时到 5 轮。

还有一个容易忽略的点：上下文窗口。如果模型上下文只有 4K，那长程一致性根本无从谈起。做文学训练建议至少 32K 上下文，最好 128K。

5.3 多智能体角色漂移的修复方法

角色漂移通常是因为角色卡太模糊，或者交互轮数太多导致状态累积误差。修复方法有两个：一是定期重置状态，每 20 轮把状态拉回初始值；二是加一个“角色监督者”Agent，专门检查其他 Agent 的发言是否符合角色卡，不符合就打回重写。

我试过第二种方法，效果不错，但会增加计算成本。如果预算有限，用第一种方法也能缓解。

5.4 文学语料版权与合规处理

这是必须严肃对待的问题。我用的语料全部是公版作品，或者自己原创的剧本。如果要用现代作品，必须获得授权。另外，语料里的暴力、偏见内容要做过滤，我一般用关键词加模型双重过滤，确保不污染模型。

注意：合规不是可选项，是底线。宁可语料少一点，也不要冒风险。

5.5 常见问题速查表

6. 文学训练范式的延展与个人体会

这套方法不只适用于对话模型。我最近在试的一个方向是用文学结构做长程规划的训练。比如让模型写一个多步骤的任务计划，每一步都要和前面的步骤有因果关联，这其实就是把叙事结构迁移到任务规划上。初步效果还不错，模型在 20 步以上的规划任务里，步骤间的逻辑断裂明显减少。

另一个延展方向是多模态叙事。把图像序列当成“视觉小说”，让模型学会在图像流里维持叙事一致性。这对工业 AI 检测、服装检测这类连续视觉任务很有价值，因为产线上的每一帧都和前后帧有逻辑关系，模型不能孤立地判断。

我个人在实际操作中的体会是：文学训练不是万能药，它解决的是特定问题——长程一致性、角色稳定、情境化对齐。如果你的任务本来就是短程的、事实性的，那文学训练可能反而拖累性能。所以关键是想清楚你的模型到底缺什么，再决定要不要上文学这条线。

最后分享一个小技巧：文学语料不用多，精比多重要。我试过用 10 万条精选剧本数据，效果比 100 万条杂七杂八的小说好得多。质量永远大于数量，这在文学训练里尤其明显。