RL目标
| 目标 | 典型反馈 |
| 偏好与行为对齐 | 人类偏好、奖励模型、AI评价 |
| 推理和解题能力增强 | 标准答案、测试程序、形式验证器 |
| 多步任务和智能体任务增强 | 环境状态、任务成功率、过程反馈 |
研究方向
1.奖励设计
传统：
RLHF：用人类偏好训练奖励模型，成本高、易被reward hacking
可验证奖励（RLVR）：数学/代码竞赛题有唯一答案，可用规则验证；
较新研究：
基于"真实软件演化历史"的轻量级、可扩展奖励，例如SWE-RL,ICML 2025。从开源软件的真实commit历史中挖掘，让模型根据commit message和修改前代码，预测/生成补丁，然后与真实commit的diff做相似度比较（如基于token或patch的匹配度）作为奖励。
用纯规则奖励（答案正确性 + 格式）做 RL，不用神经奖励模型，就让 LLM 自发涌现出长链推理、自我验证等能力。例如DeepSeek-R1，nature 2025.
从 RLHF 的 KL 约束最优解出发，推导出奖励可以用策略与参考模型的对数概率比表示，从而把"训练 RM + PPO"的复杂流程，化简为一个直接在偏好数据上做的分类式损失。例如DPO,Direct Preference Optimization,NeurIPS 2023
后续工作：
可靠、便宜、泛化
2.优化算法
传统：
- GRPO
- PPO
较新研究：
针对大规模 LLM RL 训练（尤其是长 CoT 场景）存在熵崩塌、奖励噪声、训练不稳定等问题的算法。例如DAPO，NeurIPS 2025
3.探索和课程学习
现有问题：
以GRPO为例，GRPO会对同一个问题采样多个回答，然后比较它们的奖励，计算优势A。假设一道题采样多次，奖励全是0，那么这一组就没有提供正向的相对奖励信号；全部答对、奖励相同时，也存在缺少组内区分的问题。简单题已经会了，继续练收益很小；难题完全不会，直接练又拿不到成功经验。
较新研究：
DAPO，NeurIPS 2025，通过一系列工程和算法创新，解决了大规模 RL 训练中的不稳定问题，从而让模型能够有效地在困难任务（长链推理）上进行探索和学习。
2026年9月的 Never Give Up（NGU,目前只有预印版） 提出一种自适应采样思路：围绕一道题持续采样直到找到正确解，借助异步训练，让简单题消耗较少采样预算、困难题获得更多尝试机会。
4.信用分配
概述：
对于长过程agent交互，模型通常经过多步才能完成任务，但最后只拿到一个成功奖励。前面的步骤如何区分是我们需要研究的一个问题。
最新研究：
Agent Lightning，微软2025 的信用分配思路是分层拆解：先把轨迹级的最终奖励分配到每个交互步骤上，再把每一步变成一个独立的单轮 RL 问题。这样既解决了长序列的工程难题，又为后续更精细的信用分配算法（如考虑每步的实际贡献）留下了空间。
训练一个 过程奖励模型（Process Reward Model, PRM,LCLR 2024），让标注员对解题的每一步进行判断——这一步是positive、negative还是neutral。一条完整解答的最终得分，取所有步骤得分的乘积，表示每一步都正确的联合概率。
5.Agentic RL，多步智能体
区别于传统RL，Agentic RL，不仅关注你回答的对不对，更加关注于你工具调用的对不对。
6.效率
第一个是训练效率：
AReaL，NeurISP 2025 的核心思路是将生成与训练彻底解耦，用异步架构消除 GPU 空闲，同时用算法手段保证在旧数据上训练的稳定性。
第二个是推理效率：
The Art of Efficient Reasoning,腾讯混元,这篇论文的核心贡献是把高效推理从单一的奖励工程，提升成了一个需要在数据难度、奖励塑形和优化协议之间做协同设计的系统问题。
7.自博弈与自动出题
传统路线大多默认人已经准备好题库，随着模型能力变化，尝试生成适合它继续学习的新任务。Absolute Zero，NeurIPS 2025，让模型同时参与出题和解题，并利用代码执行器验证任务与答案。它尝试把任务生成、难度调整和推理学习连接起来，而不是一直依赖固定的人工题库。
8.真实性和泛化性
这里主要的研究集中于，RL究竟让模型学到了新的解决能力，还是主要提高了原本就能偶尔生成的正确答案的概率。
