文章目录
- 一、开篇：先给这篇文打个"价值锚"
- 二、能力全景：一张图看懂 llama.cpp 能做什么
- 三、代码架构：模块是怎么分层的
- 四、17 类硬件后端：这是它最能打的地方
- 五、10 分钟上手：安装与第一次运行
- 六、源码构建：把后端"编译"进你的机器
- 七、模型量化：把 405B 塞进你买得起的硬件
- 八、核心推理流程：一个 token 是怎么"长"出来的
- 九、服务化：把 llama.cpp 变成"你自己的 OpenAI"
- 十、多 GPU 实战：三种切分策略怎么选
- 十一、性能调优：把速度"抠"出来
- 十二、可控生成：让模型"只说你要的话"
- 十三、进阶武器：投机解码、多模态与微调
- 十四、结语：为什么它值得你花时间
- 十五、附：生态与工程配套
- 附录：高频命令速查
一套纯 C/C++、零依赖的推理引擎，凭什么收获超过 13 万 Star、2.4 万 Fork，并成为无数本地大模型应用的底座？本文不堆概念，直接带你把 llama.cpp 从"装得上"做到"跑得稳、跑得快、服务化"，配 7 张高清架构图，全程干货。
一、开篇：先给这篇文打个"价值锚"
你可能已经用过某个"本地大模型一键包"，也可能被各种pip install和 CUDA 版本地狱折磨过。而 llama.cpp 的野心很朴素，也很"反潮流"：
用最少的依赖、最干净的 C/C++ 实现，把大语言模型（以及视觉语言模型 VLM）的推理，跑到你能想到的几乎所有硬件上——本地也好、云端也好，开箱即用、性能拉满。
截至目前，这个项目在代码托管平台上已经收获约 132.6k Star、24.9k Fork，累计11,963 次提交，采用宽松的MIT 许可证，官方还提供了独立的安装入口与内置 Web UI。它不是"玩具 Demo"，而是一个被工业界反复验证的推理内核。
这篇文章要解决四个真实痛点：
- 跑不起来：面对一堆后端、参数、编译选项，不知道从哪下手；
- 跑不动：模型太大、显存不够，不知道量化怎么选；
- 跑不快：明明有 GPU，
