llmfit 硬件覆盖参数完整指南:如何用 --memory / --ram / --cpu-cores 模拟任意硬件
【免费下载链接】llmfitHundreds of models & providers. One command to find what runs on your hardware.项目地址: https://gitcode.com/GitHub_Trending/ll/llmfit
llmfit是一款本地大模型推荐工具,内置数百个模型与提供方数据,一条命令即可告诉你能在自家硬件上流畅运行哪些 LLM。当自动检测失效、或你想提前评估"换台机器能跑什么模型"时,--memory、--ram、--cpu-cores这三个硬件覆盖参数就是关键工具。本文带你快速掌握它们的用法与适用场景。
什么时候需要手动覆盖硬件参数
llmfit 启动时会自动检测 CPU、内存和 GPU,但在以下场景检测会失败或不准:
- 💥
nvidia-smi损坏、虚拟机、GPU 直通等特殊环境 - 🛒 还没买新显卡,想先看看 24G 显存能跑哪些模型
- ⚙️ 在服务器上为另一台目标机器规划本地部署方案
此时用这三个参数手动指定硬件规格,llmfit 就会基于你给的值重新评分。
三个硬件覆盖参数速查
| 参数 | 作用 | 示例 |
|---|---|---|
--memory | 覆盖 GPU 显存(VRAM) | llmfit --memory=32G |
--ram | 覆盖系统内存 | llmfit --ram=128G |
--cpu-cores | 覆盖 CPU 核心数 | llmfit --cpu-cores=16 |
三个参数都是全局参数,放在命令最前面即可,且对 TUI 模式、CLI 模式和所有子命令都生效:
llmfit --memory=24G --cli # 覆盖显存后看完整模型表 llmfit --memory=24G fit --perfect -n 5 # 只列"完美适配"的前 5 个模型 llmfit --ram=64G recommend --json # 覆盖内存后取 JSON 推荐结果--memory:单独指定 GPU 显存
最常用的参数。它告诉 llmfit"按这个显存大小来评分":
llmfit --memory=24G --ram=64G --cpu-cores=8 fit两个值得了解的行为:
- 没检测到 GPU 时,
--memory会自动创建一个"虚拟 GPU 条目",让模型按 GPU 推理路径来评分——纯 CPU 机器也能借此评估"如果装一张 12G 显卡会怎样"。 - 值格式灵活:支持
G/GB/GiB、M/MB/MiB、T/TB/TiB后缀,且大小写不敏感,32G、32000M、1.5T都可以。
--ram:覆盖系统内存
影响 CPU 推理与 CPU offload 路径的内存余量评估:
llmfit --ram=128G system⚠️Apple Silicon 注意:M 系列芯片是统一内存架构,此时--ram会同时更新 VRAM;如果想单独调整显存而不影响内存,请改用--memory。
--cpu-cores:覆盖 CPU 核心数
核心数决定 CPU 推理的速度估算与评分:
llmfit --cpu-cores=16 fit -n 10组合三参数:模拟一台完整的"目标机器"
三个参数可以叠加,等于在纸上搭建一台虚拟机器,llmfit 会立即基于模拟规格重算所有模型的适配度、速度估算:
# 模拟一台"24G 显存 + 64G 内存 + 8 核 CPU"的机器 llmfit --memory=24G --ram=64G --cpu-cores=8 fit # 确认模拟生效:以 JSON 查看系统规格 llmfit --memory=24G --ram=64G system --json顺手推荐:TUI 里的硬件模拟面板
如果你更喜欢图形化操作,在 TUI 中按S键即可打开硬件模拟面板(Hardware Simulation),用Tab切换 RAM / VRAM / CPU 字段,输入数字后按Enter应用,Ctrl-R一键恢复真实硬件。效果与上面三个参数完全一致,模型表会即时重算,系统栏会出现SIM徽标提示当前处于模拟状态。
常见疑问
Q:覆盖参数会修改真实硬件配置吗?不会,它们只影响本次运行的评分计算,属于"沙盘推演"。
Q:显存和内存都想覆盖,顺序有影响吗?内部会先应用--ram再应用--memory,因此在统一内存系统上--memory拥有更高优先级,可放心按"先 ram 后 memory"的直觉书写。
延伸阅读
- 硬件覆盖完整文档:docs/cli.md(Hardware overrides 小节)
- TUI 硬件模拟面板说明:docs/tui.md(Hardware Simulation 小节)
- 中文主文档:README.zh.md(硬件覆盖小节)
- 覆盖参数在源码中的解析实现:llmfit-tui/src/main.rs
💡 小提示:配合
--max-context参数还能同时限制内存估算所用的上下文长度,适合评估长对话场景下模型的真实内存占用。
【免费下载链接】llmfitHundreds of models & providers. One command to find what runs on your hardware.项目地址: https://gitcode.com/GitHub_Trending/ll/llmfit
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考