Harnessing the Reasoning Economy: A Survey of Efficient Reasoning for Large Language Models

文章总结

主要内容

本文系统探讨了大型语言模型（LLMs）在推理任务中的推理经济性问题，即在提升推理能力的同时优化计算成本。主要内容包括：

1. 基础分析：

   • 训练后方法：通过监督微调（SFT）和强化学习（RL）塑造模型行为，如过程奖励模型（PRM）和结果奖励模型（ORM）的设计。
   • 测试时策略：并行方法（如自洽性）和顺序方法（如思维链、树搜索）的对比与优化。

2. 挑战分析：

   • 模型行为低效：长度偏差（冗余推理）、欺骗性思维（表面推理但无效）。
   • 测试时资源浪费：算法选择不当（如固定采样策略）、计算预算分配不合理。

3. 解决方案：

   • 训练后优化：
     • 数据：构建高质量推理数据集。
     • 算法：长短期RL、动态预算调优、思维链压缩。
     • 架构：单模型路由（系统1/系统2协作）、多模型协作（推测解码）、动态深度网络。
   • 测试时优化