ChatGLM4-9B模型微调部署实战：从零搭建到生产环境避坑指南-开发者社区

ChatGLM4-9B模型微调部署实战：从零搭建到生产环境避坑指南

1. 背景：为什么本地跑个 Demo 都能炸显存？

第一次把 ChatGLM4-9B 拉到 A100 上，我天真地python cli_demo.py，结果 80 GB 显存瞬间飙红，长文本直接 OOM。
问题归纳下来就三条：

模型权重 18 GB（BF16），KV Cache 再占 20 GB+，一张 24 GB 消费卡连推理都悬。
官方脚本默认batch_size=1，没有连续批处理，并发一高就排队到超时。
中文语料里全角符号、表情符、罕见字让 tokenizer 疯狂回退到<unk>，序列长度暴涨，显存二次爆炸。

一句话：不量化、不压缩、不优化，9B 也能把你按在地上摩擦。

2. 技术方案：LoRA vs QLoRA，vLLM 为什么真香？

2.1 微调显存对比（单卡 24 GB，序列长度 2048）

方案	可训 batch	显存峰值	微调后 MMLU
全参	0（OOM）	>24 GB	—
LoRA(r=16)	2	22.3 GB	0.608
QLoRA+4bit	4	11.8 GB	0.603

QLoRA 几乎不掉点，显存砍一半，直接把 4090 变成“训练卡”。

2.2 推理加速：vLLM 动态批 + PagedAttention

连续批处理：把不同长度的请求拼成一个 batch，KV Cache 按块分配，吞吐提升 3×。
PagedAttention：把 Attention 切块存显存，碎片率 < 3%，长文本不再爆。
实测 4×A10 上，AWQ 4bit 量化后 2000 token/s 出流，延迟中位数 220 ms。

3. 代码实现：端到端可复现

3.1 微调：PyTorch Lightning 模板

环境：

pip install pytorch-lightning==2.1.0 transformers>=4.40.0 peft bitsandbytes

train.py核心片段（含梯度检查点、混合精度）：

import torch, os, json from transformers import AutoTokenizer, AutoModelForCausalLM from peft import LoraConfig, get_peft_model, prepare_model_for_kbit_training import pytorch_lightning as pl from pytorch_lightning.strategies import DDPStrategy from torch.utils.data import DataLoader class ChatDataModule(pl.LightningDataModule): def __init__(self, tokenizer, data_path: str, max_len=2048): super().__init__() self.tokenizer = tokenizer self.data = json.load(open(data_path)) self.max_len = max_len def collate(self, batch): input_ids = [torch.tensor(self.tokenizer.encode(sample["text"]))[:self.max_len] for sample in batch] labels = [x.clone() for x in input_ids] return {"input_ids": torch.nn.utils.rnn.pad_sequence(input_ids, batch_first=True, padding_value=self.tokenizer.pad_token_id), "labels": torch.nn.utils.rnn.pad_sequence(labels, batch_first=True, padding_value=-100)} def train_dataloader(self): return DataLoader(self.data, batch_size=4, shuffle=True, collate_fn=self.collate, num_workers=4) class ChatGLMLightningModule(pl.LightningModule): def __init__(self, model_name="THUDM/chatglm4-9b", lr=2e-4): super().__init__() self.save_hyperparameters() self.tokenizer = AutoTokenizer.from_pretrained(model_name, trust_remote_code=True) model = AutoModelForCausalLM.from_pretrained( model_name, torch_dtype=torch.bfloat16, trust_remote_code=True, load_in_4bit=True, device_map="auto" ) model = prepare_model_for_kbit_training(model) lora_config = LoraConfig(r=16, lora_alpha=32, target_modules=["query_key_value"], lora_dropout=0.1) self.model = get_peft_model(model, lora_config) self.model.enable_input_require_grads() self.model.gradient_checkpointing_enable() def training_step(self, batch, batch_idx): outputs = self.model(**batch) loss = outputs.loss self.log("train_loss", loss, prog_bar=True) return loss def configure_optimizers(self): return torch.optim.AdamW(self.parameters(), lr=self.hparams.lr) if __name__ == "__main__": dm = ChatDataModule(ChatGLMLightningModule().tokenizer, "data/chat.json") trainer = pl.Trainer( max_epochs=3, accelerator="gpu", devices="auto", strategy=DDPStrategy(find_unused_parameters=False), precision="bf16-mixed", gradient_clip_val=1.0, log_every_n_steps=10 ) trainer.fit(ChatGLMLightningModule(), dm)

跑起来：

torchrun --nproc_per_node=2 train.py

3.2 推理：FastAPI 服务（带限流 & 健康检查）

from fastapi import FastAPI, HTTPException, Request from pydantic import BaseModel import time, asyncio from vllm import AsyncLLMEngine, AsyncEngineArgs, SamplingParams app = FastAPI(title="ChatGLM4-9B-API") # 全局限流：令牌桶 class TokenBucket: def __init__(self, rate: int, burst: int): self.rate, self.burst = rate, burst self.tokens = burst self.last = time.time() self.lock = asyncio.Lock() async def acquire(self, n=1): async with self.lock: now = time.time() self.tokens = min(self.burst, self.tokens + self.rate * (now - self.last)) self.last = now if self.tokens < n: return False self.tokens -= n return True bucket = TokenBucket(rate=10, burst=20) class Prompt(BaseModel): prompt: str max_tokens: int = 512 temperature: float = 0.7 @app.on_event("startup") async def init_engine(): args = AsyncEngineArgs( model="THUDM/chatglm4-9b", quantization="awq", dtype="float16", max_num_seqes=128, max_num_batched_tokens=8192 ) app.engine = AsyncLLMEngine.from_engine_args(args) @app.get("/health") async def health(): return {"status": "ok"} @app.post("/generate") async def generate(p: Prompt, req: Request): if not await bucket.acquire(): raise HTTPException(429, "rate limit exceeded") sp = SamplingParams(temperature=p.temperature, max_tokens=p.max_tokens) results = [] async for res in app.engine.generate(p.prompt, sp, request_id=f"{time.time()}"): results.append(res.outputs[0].text) return {"text": results[-1]}

启动：

uvicorn api:app --host 0.0.0.0 --port 8000 --workers 1

4. 生产考量：量化、监控、灰度

4.1 量化怎么选？

AWQ：对矩阵乘法做权重量化，保留激活，kernel 优化多，vLLM 原生支持，推理延迟最低。
GPTQ：压缩率更高，3bit/4bit 可选，但需校准数据集，TRT 后端更友好。
结论：在线服务优先 AWQ，离线批跑再考虑 GPTQ 3bit 省显存。

4.2 Prometheus 指标设计

# docker-compose 片段 services: gpu-exporter: image: nvidia/dcgm-exporter ports: ["9400:9400"]

关键面板：

gpu_utilization> 85% 持续 5 min → 自动扩容
vllm:generation_tokens_per_second瞬时值 < 20 → 触发量化降级或节点漂移
vllm:request_queue_durationP99 > 2 s → 告警，检查是否触发内存交换

5. 避坑指南：血泪总结

5.1 CUDA 版本冲突

场景：宿主机 CUDA 11.8，容器镜像 12.1，PyTorch 编绎时链接 libcudart.so 找不到。
解决：
1. 用官方pytorch/pytorch:2.1.0-cuda12.1-cudnn8-devel做底镜像，保证驱动 >= 530。
2. 宿主机只提供内核驱动，不再挂载/usr/local/cuda，避免混用。

5.2 中文分词特殊字符

现象：用户输入 "😊" 直接变<unk>，模型续写乱码。
解决：
- 在 tokenizer 前加正则清洗：text = re.sub(r"[^\u4e00-\u9fa5^a-zA-Z0-9]", "", text)
- 自定义added_tokens.json把高频 Emoji 加进去，再训练 LoRA 时把 embedding 设为可训练，5k 步后<unk>率从 4.3% 降到 0.6%。

6. 小结 & 开放问题

走完这套流程，你能在单张 4090 上完成 QLoRA微调，用 vLLM+AWQ 把吞吐拉到 2k token/s，再通过 FastAPI 暴露带限流的服务，基本达到“穷鬼版”生产可用。

但成本与效果的跷跷板始终存在：
“当业务场景既要长文本又要高并发，显存预算却卡得死，你会优先剪枝、蒸馏，还是直接买卡？”

欢迎把你的思考留在评论区，一起把 9B 玩成 90B 的效果。

如果你想先体验一把“实时对话 AI”的爽感，又懒得自己搭链路，可以试试这个动手实验：从0打造个人豆包实时通话AI。
我跟着做了一遍，半小时就能在浏览器里跟虚拟角色语音唠嗑，ASR→LLM→TTS 全链路都封装好了，小白也能顺利跑通，改两行代码还能换成自己的音色，挺适合先建立体感再回来折腾 ChatGLM。