Phi-3.5-Mini-Instruct保姆级教程：模型微调（LoRA）本地训练环境搭建-开发者社区

Phi-3.5-Mini-Instruct保姆级教程：模型微调（LoRA）本地训练环境搭建

1. 准备工作

在开始搭建Phi-3.5-Mini-Instruct的本地训练环境前，我们需要确保硬件和软件环境满足基本要求。Phi-3.5作为轻量级模型，对硬件要求相对友好，但仍需要一定的计算资源。

1.1 硬件要求

显卡：建议NVIDIA显卡，显存至少8GB（如RTX 3060/3070或更高）
内存：16GB及以上
存储空间：至少20GB可用空间（用于存储模型和训练数据）

1.2 软件环境

操作系统：Linux（推荐Ubuntu 20.04/22.04）或Windows 10/11
Python：3.8或更高版本
CUDA：11.7或更高版本（与显卡驱动匹配）
cuDNN：与CUDA版本对应

2. 基础环境安装

2.1 创建Python虚拟环境

为了避免依赖冲突，我们首先创建一个独立的Python虚拟环境：

python -m venv phi3-env source phi3-env/bin/activate # Linux/macOS # 或 phi3-env\Scripts\activate # Windows

2.2 安装PyTorch

根据你的CUDA版本安装对应的PyTorch：

pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu117

2.3 安装必要库

安装模型训练和微调所需的核心库：

pip install transformers datasets accelerate peft bitsandbytes

3. 模型下载与准备

3.1 下载Phi-3.5-Mini-Instruct模型

我们可以直接从Hugging Face下载官方模型：

from transformers import AutoModelForCausalLM, AutoTokenizer model_name = "microsoft/Phi-3-mini-4k-instruct" tokenizer = AutoTokenizer.from_pretrained(model_name) model = AutoModelForCausalLM.from_pretrained(model_name, torch_dtype="auto", device_map="auto")

3.2 准备训练数据

LoRA微调需要准备特定格式的训练数据。这里我们以对话数据为例：

from datasets import Dataset train_data = [ {"instruction": "解释量子计算", "input": "", "output": "量子计算是利用..."}, {"instruction": "写一首关于春天的诗", "input": "", "output": "春风拂面..."} ] dataset = Dataset.from_dict({ "instruction": [d["instruction"] for d in train_data], "input": [d["input"] for d in train_data], "output": [d["output"] for d in train_data] })

4. LoRA微调配置

4.1 配置LoRA参数

我们将使用PEFT库进行LoRA微调：

from peft import LoraConfig, get_peft_model lora_config = LoraConfig( r=8, # LoRA秩 lora_alpha=16, # 缩放因子 target_modules=["q_proj", "k_proj", "v_proj", "o_proj"], # 目标模块 lora_dropout=0.05, # Dropout率 bias="none", # 偏置项处理 task_type="CAUSAL_LM" # 任务类型 ) model = get_peft_model(model, lora_config) model.print_trainable_parameters() # 查看可训练参数

4.2 训练参数设置

配置训练参数：

from transformers import TrainingArguments training_args = TrainingArguments( output_dir="./phi3-lora-output", per_device_train_batch_size=2, gradient_accumulation_steps=4, learning_rate=2e-4, num_train_epochs=3, logging_steps=10, save_steps=100, fp16=True, # 使用混合精度训练 optim="paged_adamw_8bit", # 8-bit优化器 report_to="none" # 不记录到任何平台 )

5. 开始微调训练

5.1 数据预处理

将数据转换为模型可接受的格式：

def preprocess_function(examples): inputs = [f"<|user|>\n{inst}\n{inp}<|end|>\n<|assistant|>\n" for inst, inp in zip(examples["instruction"], examples["input"])] targets = examples["output"] model_inputs = tokenizer(inputs, max_length=512, truncation=True) labels = tokenizer(targets, max_length=512, truncation=True) model_inputs["labels"] = labels["input_ids"] return model_inputs tokenized_dataset = dataset.map(preprocess_function, batched=True)

5.2 启动训练

使用Trainer进行训练：

from transformers import Trainer trainer = Trainer( model=model, args=training_args, train_dataset=tokenized_dataset, data_collator=lambda data: {"input_ids": torch.stack([d["input_ids"] for d in data]), "attention_mask": torch.stack([d["attention_mask"] for d in data]), "labels": torch.stack([d["labels"] for d in data])} ) trainer.train()

6. 模型保存与使用

6.1 保存微调后的模型

训练完成后，保存LoRA适配器：

model.save_pretrained("./phi3-lora-adapter")

6.2 加载并使用微调模型

加载基础模型和LoRA适配器：

from peft import PeftModel base_model = AutoModelForCausalLM.from_pretrained("microsoft/Phi-3-mini-4k-instruct") model = PeftModel.from_pretrained(base_model, "./phi3-lora-adapter") model = model.merge_and_unload() # 合并LoRA权重到基础模型