如何快速部署开源中文法律大模型：法律AI私有化部署完整清单-开发者社区

如何快速部署开源中文法律大模型：法律AI私有化部署完整清单

【免费下载链接】Awesome-Chinese-LLM整理开源的中文大语言模型，以规模较小、可私有化部署、训练成本较低的模型为主，包括底座模型，垂直领域微调及应用，数据集与教程等。项目地址: https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM

合同审查排队、法条查询靠翻、合规问题等半天才有人回复，法务岗的活越堆越多？开源项目 Awesome-Chinese-LLM 收录了獬豸、ChatLaw 等十余个可单卡运行的开源法律大模型，从模型选型、私有化部署到微调都有对应资料，用普通 GPU 服务器就能搭一套法律AI。

法律大模型能干什么

本节回答"它到底能干什么、值不值得部署"。实际落地主要就三件事：

合同审查：把合同初稿丢进去，标出高风险条款并给出修改建议
合规问答：员工直接问"这种情况怎么处理"，模型给出依据法条的回答
裁判文书分析：批量读取历史判决书，归纳同类案件的裁判规律

这三件事各自都有成熟的开源法律大模型对应，不用从零训练。

模型选型

本节解决部署前的第一个决定：选哪个模型。原则是"先问场景，再看硬件"。

先问：主要跑什么场景

高频轻量问答（客服咨询、内部合规问答）：选 6B 级。獬豸(LawGPT_zh)基于 ChatGLM-6B，用真实律师问答和情景问答微调；LexiLaw 同为 ChatGLM-6B 底座，训练时含 5 万份法律文书
法律文书、判决书的深度分析：选 13B 级。Lawyer LLaMA 基于 Chinese-Alpaca-Plus-13B，用 JEC-QA 法考数据精调；ChatLaw-13B 基于 Ziya-LLaMA-13B，覆盖 93 万条判决案例

再问：有几张卡

单张 24GB 显存（如 3090）：6B 模型直接跑，13B 需 4bit 量化
两张及以上 40GB+ 显卡：13B 轻松运行，有余力可再试 ChatLaw-33B

有特别诉求再看

要一个模型兼顾多轮对话、撰写文章和检索：韩非(HanFei)，7B 且为全参数训练
要把用户提问直接匹配到对应法条：ChatLaw 的 Text2Vec 相似度模型和 13B 模型搭配使用

选不全也没关系，项目把所有中文开源模型按"底座 → 垂直微调"两级整理好了，法律模型清单里每个模型都标注了底座、训练数据和算力需求。

部署前检查

本节是起飞前检查，4 项没确认好，模型大概率跑不起来：

GPU 显存：6B 模型至少 24GB 单卡；13B 模型至少双卡，或先走 4bit 量化
系统与驱动：Ubuntu 20.04 LTS 及以上 Linux，NVIDIA 驱动配 CUDA 11.7+
Python 环境：Python 3.8+，装好 torch、transformers 及推理框架
磁盘与许可：至少 100GB 空余存权重和数据集；确认目标模型的许可证允许商用（LexiLaw 为 MIT，LaWGPT 为 GPL-3.0，后者商用需谨慎）

私有化部署

本节给最短路径：克隆项目、装推理框架、起服务，三步走完。🚀

git clone https://gitcode.com/GitHub_Trending/aw/Awesome-Chinese-LLM cd Awesome-Chinese-LLM

模型权重按各个模型仓库单独分发，到法律模型清单找到对应条目下载。推理框架推荐仓库收录的 vLLM：

pip install vllm vllm serve /path/to/LawGPT_zh --port 8000

上线后优化

服务起来只是开始，通常还有三件事要做。

准备微调数据

基础模型的回答偏通用，"不知道你们公司的规矩"。把历史合同模板与修订记录、内部合规手册问答、行业法规解读整理成"问题 + 参考回答 + 法条依据"格式，再用仓库收录的 ChatGLM Efficient Tuning 或 LLaMA Efficient Tuning 做LoRA微调，6B 模型单张 3090 就能训。

量化省显存

用 GPTQ 或 AWQ 做 4bit 量化，显存占用能砍掉一半以上，13B 模型在单张 24GB 卡上就能服务，给并发请求留出余量。

推理加速

高并发场景用vLLM的连续批处理提吞吐；LMDeploy 的推理性能约为 vLLM 的 1.8 倍，同样支持 4bit 量化推理，二选一即可。

建议按这个顺序动手：先把 6B 模型跑起来接住合规问答，再攒 200 条以上合同问答样本做一次 LoRA 微调，最后换 4bit 量化 + vLLM 腾显存。

创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

如何快速部署开源中文法律大模型：法律AI私有化部署完整清单