文章主要内容和创新点
主要内容
本文聚焦于资源受限场景下大型语言模型（LLMs）的微调问题，针对全量微调计算成本高、内存需求大的瓶颈，系统评估了现有参数高效微调（PEFT）技术（如LoRA、BOFT、LoRA-GA、uRNN），并提出了两种创新策略：
- 混合微调框架：动态融合LoRA-GA的梯度对齐低秩更新与BOFT的正交变换，通过每层梯度范数计算自适应权重，实现快速收敛与稳定优化的平衡；
- 酉循环神经网络（uRNN）适配Transformer：首次将uRNN的酉矩阵约束引入基于Transformer的LLMs，通过结构化酉矩阵增强深层微调时的梯度稳定性。
实验在GLUE、GSM8K、MT-Bench、HumanEval四个基准数据集上，对7B到405B参数的LLMs进行测试，结果表明混合方法在逼近全量微调精度的同时，训练时间减少2.1倍，内存使用降低50%，验证了其在资源受限场景下的实用性。
创新点
- 混合微调算法：基于实时梯度范数为每层动态分配LoRA-GA（快速收敛）和BOFT（稳定优化）的更新权重，兼顾不同训练阶段的需求；
- uRNN与Transformer融合：首次将酉矩阵约束嵌入Transformer的注意力或前馈子层，通过结构化参数化（如傅里叶变换、置换矩阵）增强梯度稳定性，尤其适用于长程依赖任务；
- 全面基准测试
` 机制与 1000 倍加速解析)
