Lora微调笔记1

目的：使用Qwen官方脚本，微调Qwen2.5-vl-3B模型在座舱内多意图识别上的能力，包含三个模块（llm、mlp、vit）

微调框架：transformers、peft、deepspeed（zero3）

原理：在lm模块对指定层（target_modules）的q、k、v、o部分增加lora矩阵，固定其余部分的参数，训练lora链路，从而增强模型对特定任务上的效果

参数：

lora_r：8或16

lora_alpha：16或32，一般为lora_r的两倍，lora参数对全局参数的影响因子

target_modules：如attention层的q_proj, k_proj, v_proj, o_proj

显存优化策略：见主页笔记

待办：

• 探究run.sh中--model_max_length，--tune_mm_llm， --tune_mm_vision， --tune_mm_mlp参数
• 探究全参微调的链路