法律大模型微调实战：Qwen2.5-7B与LLaMA-Factory全流程指南

简介：这份资源面向自然语言处理入门与进阶开发者，聚焦大语言模型在垂直领域的微调实践，解决法律场景下模型理解专业术语与生成准确回答的问题。内容基于Qwen2.5-7B-Instruct架构，配合LLaMA-Factory框架，并使用DISC-Law-SFT-Pair专业法律数据集，覆盖LoRA、QLoRA与合并权重三种训练配置，适合想掌握指令微调全流程的读者。压缩包共11个文件，约35KB，包含yaml训练配置、jsonl法律指令与三元组数据、chat.py推理脚本，以及说明文档和附赠参考资料，结构紧凑便于快速上手。目前已有97人学习下载。通过这份资料，读者可获取从数据组织、参数配置到模型合并与对话测试的完整链路，理解如何在有限算力下完成领域适配，并借助法律数据集案例迁移到其他专业场景，形成可复用的微调方案与排错思路。

1. 法律大模型微调资源包：Qwen2.5-7B 配 LLaMA-Factory 到底能不能跑通

法律咨询场景里，通用大模型经常把「诉讼时效」和「除斥期间」混着说，合同审查时又爱自己编法条。要让它说人话、引对法，最直接的路子就是拿专业法律语料做指令微调。这份资源包给的就是一条能落地的链路：底座选 Qwen2.5-7B-Instruct，训练框架用 LLaMA-Factory，数据集是 DISC-Law-SFT-Pair 法律指令对，外加 Triplet 版本和一份 pair 转换脚本。压缩包里FineTuning-Qwen2.5-7b-main是主目录，fine_tuning_data放数据，三个 YAML 分别对应 LoRA、QLoRA 和合并导出，chat.py负责推理验证。适合手里有单卡 24G 显存、想跑通法律领域 SFT 全流程的工程师，也适合想拿现成配置改自己数据集的从业者。下面按「资源拆解 → 环境与数据 → 训练配置 → 避坑 → 进阶验证」的顺序，把这份包拆开讲透。

2. 资源包结构与 LLaMA-Factory 微调链路拆解

2.1 压缩包里每个文件对应哪一步

先把目录结构摊开看，避免训练时找不到文件。这份包的核心文件分布如下：

LLaMA-Factory 的微调链路是固定的五步：准备数据 → 配 YAML → 启动训练 → 合并权重 → 推理验证。这份包把每一步都给了现成文件，你只需要改路径和显存相关参数。常见做法是先用 QLoRA 在单卡上跑通小样本，确认数据格式没问题，再切 LoRA 做全量 SFT。

2.2 为什么选 Qwen2.5-7B-Instruct 而不是别的底座

Qwen2.5-7B-Instruct 是指令微调过的底座，本身已经具备对话格式理解能力，做领域 SFT 时不需要从零教它「什么是问答」。7B 参数量在单张 24G 卡上做 LoRA 微调刚好够用，QLoRA 甚至能压到 12G 左右。相比 13B 以上的模型，7B 在中文法律语料上的收敛速度更快，训练一轮的显存和时间成本都可控。

选 Instruct 版本而不是 Base 版本，是因为法律 SFT 数据本身是指令对格式，Instruct 底座对<|im_start|>、<|im_end|>这类对话模板已经适配，LLaMA-Factory 里直接指定template: qwen就能对齐，省掉自己写 chat template 的麻烦。如果你的数据是纯文本续写任务，才需要考虑 Base 版本，这份包的数据是 pair 格式，Instruct 是正确选择。

2.3 数据格式转换：从 Triplet 到 Pair 的脚本逻辑

DISC-Law-SFT-Pair 原始是 jsonl，但字段名不一定和 LLaMA-Factory 的alpaca或sharegpt格式完全一致。包里给了fine_tuning_pair.jsonl，说明已经做过一轮转换。如果你要拿 Triplet 版本自己转，常见做法是写一个 Python 脚本把三元组拆成指令-输出对。下面是一个可复用的转换骨架：

import json def triplet_to_pair(src_path, dst_path): with open(src_path, "r", encoding="utf-8") as fin, \ open(dst_path, "w", encoding="utf-8") as fout: for line in fin: item = json.loads(line) # Triplet 通常含 instruction / input / output 或 query / pos / neg # 这里按 DISC-Law 常见字段做兼容 instruction = item.get("instruction") or item.get("query", "") inp = item.get("input", "") output = item.get("output") or item.get("pos", "") if not instruction or not output: continue # 跳过字段缺失的脏数据 record = { "instruction": instruction, "input": inp, "output": output } fout.write(json.dumps(record, ensure_ascii=False) + "\n") if __name__ == "__main__": triplet_to_pair( "fine_tuning_data/DISC-Law-SFT-Triplet-released.jsonl", "fine_tuning_data/fine_tuning_pair.jsonl" )

这段脚本的关键在字段兼容：DISC-Law 不同版本可能用query/pos或instruction/output，用or兜底能减少翻车。ensure_ascii=False保证中文不被转义成\uXXXX，否则训练时 tokenizer 读到的内容虽然一样，但人工检查数据时会很难受。跳过空字段是为了防止 LLaMA-Factory 在 tokenize 阶段因为空 output 报长度异常。

转换完用下面命令抽查前两条，确认字段和内容对得上：

head -n 2 fine_tuning_data/fine_tuning_pair.jsonl | python -m json.tool

如果输出里instruction是法律问题、output是法条分析或建议，格式就对了。注意 LLaMA-Factory 的dataset_info.json里要注册这个数据集名称，YAML 里的dataset字段必须和注册名一致，否则会报Dataset xxx not found。

3. LoRA 与 QLoRA 训练配置：YAML 参数逐项落地

3.1 环境安装与 LLaMA-Factory 版本对齐

训练前先把环境搭好。LLaMA-Factory 对 torch、transformers、peft 的版本有要求，版本错位是新手最常见的翻车点。推荐用 conda 建独立环境：

conda create -n law_sft python=3.10 -y conda activate law_sft pip install torch==2.4.0 torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121 git clone https://github.com/hiyouga/LLaMA-Factory.git cd LLaMA-Factory pip install -e ".[torch,metrics]"

python=3.10是 LLaMA-Factory 当前兼容性最好的版本，3.12 在部分依赖上会卡编译。cu121对应 CUDA 12.1，如果你驱动是 12.4 也能向下兼容。装完用llamafactory-cli version确认命令可用。如果这一步报No module named 'llamafactory'，多半是pip install -e .没在项目根目录执行，回到 LLaMA-Factory 目录重跑即可。

3.2 LoRA 配置：qwen2.5-7b-lora-sft.yaml 参数怎么改

LoRA 配置适合 24G 显存做全参数低秩微调。打开qwen2.5-7b-lora-sft.yaml，核心参数如下：

model_name_or_path: Qwen/Qwen2.5-7B-Instruct stage: sft do_train: true finetuning_type: lora lora_target: all dataset: disc_law_pair template: qwen cutoff_len: 2048 per_device_train_batch_size: 2 gradient_accumulation_steps: 8 learning_rate: 1.0e-4 num_train_epochs: 3.0 lr_scheduler_type: cosine warmup_ratio: 0.1 bf16: true output_dir: saves/qwen2.5-7b/lora/sft

lora_target: all表示对所有线性层挂 LoRA，法律领域任务建议全挂，只挂 q/k/v 会欠拟合。cutoff_len: 2048是截断长度，法律文本偏长，如果你的数据里有很多长法条，可以提到 4096，但显存会翻倍。per_device_train_batch_size: 2配合gradient_accumulation_steps: 8，等效 batch size 是 16，单卡 24G 能稳住。learning_rate: 1.0e-4是 LoRA 的常用起点，比全量微调的 2e-5 高一个量级，因为低秩矩阵参数量少，需要更大步长。

启动训练：

llamafactory-cli train qwen2.5-7b-lora-sft.yaml

如果报 OOM，先把per_device_train_batch_size降到 1，再把cutoff_len降到 1024，通常能救回来。训练日志里关注loss是否稳定下降，如果前 100 步 loss 在 2.0 以上不降，检查数据里 output 是否为空或 template 是否匹配错。

3.3 QLoRA 配置：4bit 量化下显存与精度的取舍

QLoRA 配置在qwen2.5-7b-qlora-sft.yaml，和 LoRA 的差别主要在量化开关：

model_name_or_path: Qwen/Qwen2.5-7B-Instruct stage: sft do_train: true finetuning_type: lora quantization_bit: 4 quantization_method: bnb lora_target: all dataset: disc_law_pair template: qwen cutoff_len: 2048 per_device_train_batch_size: 4 gradient_accumulation_steps: 4 learning_rate: 2.0e-4 num_train_epochs: 3.0 bf16: true output_dir: saves/qwen2.5-7b/qlora/sft

quantization_bit: 4把基座权重压到 4bit，显存占用从约 16G 降到 6G 左右，12G 卡也能跑。代价是精度损失，法律任务对法条引用准确性要求高，QLoRA 出来的模型在细节上可能比 LoRA 弱一点。常见做法是 QLoRA 先跑通流程验证数据，再用 LoRA 做正式训练。learning_rate提到 2.0e-4 是因为量化后梯度噪声更大，需要稍大步长补偿。

提示：QLoRA 训练时per_device_train_batch_size可以比 LoRA 大，因为基座不存梯度，但不要盲目拉满，先看nvidia-smi显存余量再调。

3.4 合并导出：merge-lora.yaml 把权重并回基座

训练完的 LoRA 权重是适配器，推理时要和基座合并。qwen2.5-7b-merge-lora.yaml就是干这个的：

model_name_or_path: Qwen/Qwen2.5-7B-Instruct adapter_name_or_path: saves/qwen2.5-7b/lora/sft template: qwen finetuning_type: lora export_dir: models/qwen2.5-7b-law-merged export_size: 2 export_device: cpu

adapter_name_or_path指向训练输出目录，export_dir是合并后模型存放路径。export_device: cpu表示在 CPU 上做合并，避免占 GPU 显存，合并 7B 模型大约需要 30G 内存，机器内存不够就改cuda。执行：

llamafactory-cli export qwen2.5-7b-merge-lora.yaml

合并完成后models/qwen2.5-7b-law-merged里会有完整的 safetensors 权重和 tokenizer，可以直接用 transformers 加载，也可以喂给 vLLM 做部署。

4. 避坑与排查：法律 SFT 训练里最容易翻车的五件事

4.1 现象：训练启动报 Dataset not found

原因：YAML 里的dataset名称没有在 LLaMA-Factory 的data/dataset_info.json里注册，或者注册名和 YAML 不一致。解决：打开data/dataset_info.json，加一条：

"disc_law_pair": { "file_name": "fine_tuning_data/fine_tuning_pair.jsonl", "formatting": "alpaca", "columns": { "prompt": "instruction", "query": "input", "response": "output" } }

注意file_name路径是相对于 LLaMA-Factory 的data目录，如果数据不在data下，要么软链过去，要么写绝对路径。

4.2 现象：loss 一直不降或震荡

原因：学习率过大、数据格式错位、template 不匹配三者之一。解决：先把learning_rate降到 5e-5 试 200 步；再用head检查 jsonl 字段是否和dataset_info.json的 columns 对应；最后确认template: qwen和底座一致，Qwen2.5 用qwen模板，不要写成qwen2或llama3。

4.3 现象：推理时模型输出重复或截断

原因：cutoff_len设太小，法律长文本被截断，模型学到的都是半截话。解决：把cutoff_len提到 4096，同时把per_device_train_batch_size降到 1，用gradient_accumulation_steps补等效 batch。如果显存实在不够，先过滤掉超过 4096 token 的样本，而不是硬截断。

4.4 现象：合并后模型推理报 size mismatch

原因：合并时adapter_name_or_path指向了错误的 checkpoint，或者基座版本和训练时不一致。解决：确认adapter_name_or_path下有adapter_config.json和adapter_model.safetensors，且model_name_or_path和训练 YAML 里完全一致。如果训练时用了量化，合并前要先反量化，LLaMA-Factory 的 export 会自动处理，不要手动改权重。

4.5 现象：chat.py 加载模型后答非所问

原因：chat.py 里的模型路径还指向原始 Qwen2.5-7B-Instruct，没改成合并后的路径。解决：打开chat.py，把model_name_or_path改成models/qwen2.5-7b-law-merged，并确认template参数和训练时一致。如果还是不对，用tokenizer.apply_chat_template打印一条样本的完整 prompt，看格式是否和训练数据对齐。

5. 进阶验证：用 chat.py 做法律问答回归与效果判断

训练跑完不等于能用，得有一套验证方法。chat.py是最轻量的入口，我一般会改造成批量回归脚本，拿一组固定法律问题跑对比。下面是一个可复用的验证片段：

from transformers import AutoModelForCausalLM, AutoTokenizer import torch model_path = "models/qwen2.5-7b-law-merged" tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained( model_path, torch_dtype=torch.bfloat16, device_map="auto", trust_remote_code=True ) questions = [ "诉讼时效和除斥期间的区别是什么？", "合同违约金过高，法院一般怎么调整？", "民间借贷没有约定利息，能否主张利息？" ] for q in questions: messages = [{"role": "user", "content": q}] text = tokenizer.apply_chat_template(messages, tokenize=False, add_generation_prompt=True) inputs = tokenizer(text, return_tensors="pt").to(model.device) with torch.no_grad(): outputs = model.generate(**inputs, max_new_tokens=512, do_sample=False) answer = tokenizer.decode(outputs[0][inputs["input_ids"].shape[1]:], skip_special_tokens=True) print(f"Q: {q}\nA: {answer}\n{'-'*60}")

do_sample=False用贪心解码，保证同一问题每次输出一致，方便对比微调前后差异。max_new_tokens=512对法律问答够用，太长会拖慢验证速度。跑完把微调前 Qwen2.5-7B-Instruct 的输出和微调后的输出并排看，重点看三点：法条引用是否准确、术语是否用对、回答结构是否更贴近法律文书习惯。

如果微调后模型在某个问题上反而变差，常见原因是训练数据里该类样本太少或标注质量差。这时候不要急着加 epoch，先把那类样本捞出来人工检查，必要时补几十条高质量 pair 再训一轮。我自己的习惯是每次训练前先留出 50 条法律问答做验证集，不参与训练，训练完固定跑一遍，记录准确率和术语错误数。从那以后我每次动法律数据集，都强制先跑一遍这 50 条回归，确认没有退化才继续加数据。希望帮到你。

本文还有配套的精品资源，点击获取