Text Generation WebUI 本地部署完整指南：一条脚本装好，本地 LLM 开箱即用
【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen
装本地 LLM 最头疼的，是依赖装不全、环境变量报错、CUDA 版本不匹配。Text Generation WebUI 用一键脚本把这套流程打包好了：自动下 Miniforge、建好环境、装完所有后端，还支持 OpenAI 兼容 API，全程离线、无遥测。
功能全景
| 功能 | 说明 | 适合谁 |
|---|---|---|
| 聊天与生成 🗨️ | instruct / 角色扮演模式，可编辑消息、分叉对话 | 日常对话、角色设定 |
| 视觉与附件 | 消息里带图片、上传 PDF 和 .docx 一起问 | 文档问答、图文理解 |
| 工具调用 | 模型能调网页搜索、抓页面、数学等自定义函数 | 工作流自动化 |
| 本地 API | OpenAI / Anthropic 风格接口，含 Chat、Completions、Messages | 想接现有代码的开发者 |
| 训练与画图 | LoRA 微调、diffusers 文生图 | 想改模型或出图的人 |
模型后端内置 llama.cpp、ik_llama.cpp、Transformers、ExLlamaV3、TensorRT-LLM 五种，切换后端不用重启。完整列表见 docs/ 下的官方文档。
三步跑起来 🚀
第一步，获取代码：
git clone https://gitcode.com/GitHub_Trending/te/text-generation-webui cd text-generation-webui第二步，配置环境。按系统跑一键脚本：Linux 是./start_linux.sh，macOS 是./start_macos.sh，Windows 是start_windows.bat。脚本会自己下载 Miniforge 并在installer_files/里建 conda 环境，按提示选 GPU 厂商（NVIDIA / AMD / 纯 CPU）即可，不需要 root 权限。
第三步，启动服务。装完直接再跑一次同样的start_脚本。看到浏览器自动打开http://127.0.0.1:7860、页面正常出现 Chat 标签页，就算成功。
核心工作流：加载模型并开聊
- 从 Hugging Face 下一个 GGUF 格式模型，放进
user_data/models/。界面会自动检测到它，不用手动注册。 - 进 Model 标签页，下拉框选中模型，loader 默认 llama.cpp。
gpu_layers设-1（自动全放显卡），点Load。加载完点一下 Save，下次选这个模型直接沿用参数。- 切到 Chat 标签页，选 instruct 模式发消息。
不想每次手动选模型的话，往 user_data/CMD_FLAGS.txt 里加一行--model 你的模型文件名.gguf，启动即加载。
进阶调优 🔧
显存不够就压上下文。llama.cpp 的 KV cache 是预分配的，ctx-size越大越吃显存。模型加载报 OOM 时，优先调低ctx-size，再把cache-type从fp16降到q8_0甚至q4_0，省不少显存，代价是质量轻微下降。
把它变成 OpenAI 兼容接口。在CMD_FLAGS.txt加一行--api，重启后本地就有 5000 端口的 API，浏览器打开http://127.0.0.1:5000/docs能看全部接口文档。现有 OpenAI SDK 的代码基本不用改，只把 base_url 换成本地地址即可，详见 OpenAI API 文档。
常见坑与排障 ⚠️
现象：start 脚本报错退出。原因：项目路径里含空格，Miniforge 装不进去。解决：把仓库挪到无空格、无中文的路径，如/home/用户名/项目/text-generation-webui。
现象：模型加载报 out of memory。原因：上下文或层数超出显卡容量。解决：调低ctx-size、gpu_layers设小值让部分层落 CPU，或改用更低位的量化模型。
现象：Model 下拉框里没有模型。原因：项目不带任何模型，GGUF 必须自己下载放进user_data/models/，多文件的 Transformers 模型要放进该目录下的子文件夹。
一句话总结：它是把"本地 LLM 环境地狱"压缩成一条脚本的方案。建议先装好跑通对话，再去docs/里按 Chat、Model、Training 的顺序把标签页挨个过一遍。
【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen
创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
